为什么很多分类模型在训练数据不平衡时会出现问题?

本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。

这种“不一致”可能由于训练数据的样本分布和测试时期望的样本分布不一致,

例如:在训练时优化的是整个训练集(正负样本比=1:99)的正确率,而测试时可能想要模型在正样本和负样本的平均正确率尽可能大(实际上期望正负样本比=1:1)。

也有可能由于训练阶段不同类别的权重(重要性)与测试阶段不一致,

例如:训练时认为所有样本的贡献是相等的,而测试时假阳性样本(False Positive)和伪阴性样本(False Negative)有着不同的代价。