lvzhaopeng的数字花园

样本不平衡

7分钟阅读

在处理类别不平衡（Imbalanced Classification）问题时，如果直接使用标准机器学习模型，往往会导致模型过度偏向多数类，从而在少数类上表现极差（例如准确率很高但召回率为零）。

处理不平衡数据的核心技巧主要分为两大流派：数据层面（重采样）和算法层面（代价敏感学习）。下面深入解析你提到的 SMOTE、ROSE 和 Weight（权重调整） 三种经典方法。

1. Class Weight / Cost-Sensitive Learning（权重调整）

权重调整不需要修改数据集的样本数量，而是在模型的损失函数（Loss Function）中引入惩罚系数。当模型将少数类（正类）错分时，给予更高的惩罚代价（Loss），迫使优化算法在训练时更加关注少数类。

  • 数学直观：总损失 = 。通常设定 ，且比例接近负正样本比例（如 10:1）。

优缺点

  • 优点：

  • 计算高效：不改变数据形态，不增加训练集样本量，训练速度快。

  • 无信息失真：没有人为凭空捏造数据（没有合成噪声）。

  • 缺点：对极端不平衡（如 1:1000）或噪声很大的数据，单纯调权重可能效果有限，且部分模型对权重参数不敏感。

常用实现

  • Python (Scikit-Learn): 很多模型内置该参数，如 class_weight='balanced' 或传入字典 {0: 1, 1: 10}。
  • R: 在逻辑回归中使用 weights 参数，或在随机森林 (randomForest) 中使用 classwt。

2. SMOTE (Synthetic Minority Over-sampling Technique)

核心原理

SMOTE 是一种经典的特征空间合成过采样方法。它不简单地复制少数类样本（这会导致过拟合），而是通过计算少数类样本之间的距离来“凭空捏造”新的合成样本：

  1. 对少数类中的每一个样本 ，通过计算欧氏距离找出其 个近邻（通常 ）。
  2. 随机选择其中一个近邻 。
  3. 在 和该近邻的连线上随机选择一点作为新的合成样本：

优缺点

  • 优点：有效扩充了少数类的特征空间分布，缓解了硬复制导致的过拟合，提升了模型对少数类边界的识别能力。
  • 缺点：
  • 盲目合成：如果少数类样本夹杂在多数类样本的密集区（噪声点），SMOTE 可能会在两类之间生成大量重叠的混淆样本，加剧分类混淆。
  • 不适用于高维稀疏数据：在高维空间中欧氏距离容易失真（维度灾难）。

3. ROSE (Random Over-Sampling Examples)

核心原理

ROSE 是一种基于平滑自举（Smoothed Bootstrap）机制的抽样方法。与 SMOTE 仅针对少数类不同，ROSE 同时对少数类和多数类进行概率化生成：

  1. 它利用核密度估计（Kernel Density Estimation, KDE）来估计特征空间的概率密度分布。
  2. 从这个估计出的连续概率分布中，按需抽取人工合成样本，平衡两类数据。

优缺点

  • 优点：

  • 生成的样本分布更加平滑、自然，较好地保留了原始数据的整体结构和协方差。

  • 同时考虑了少数类过采样和多数类欠采样（或软平滑）的优势，泛化能力通常较好。

  • 缺点：计算复杂度高于简单的重采样或权重调整，在高维或超大数据集上计算较慢。

常用实现

  • R (ROSE 包):
library(ROSE)
# 综合过采样与欠采样平衡数据集
data.balanced <- ovun.sample(Class ~ ., data = training_data, 
                             method = "both", p = 0.5, seed = 1)$data

4. 核心对比与选型指南

维度Class Weight (权重调整)SMOTE (特征空间合成)ROSE (平滑密度抽样)
数据形态保持不变增加少数类样本调整/生成全量平滑样本
计算开销极低（仅改损失函数）较低（需计算近邻）较高（核密度估计）
适用场景多数主流模型（树模型、线性模型）连续特征较多、中等规模数据R 语言生态、需要精细概率分布控制的场景
主要风险极端不平衡时可能优化不足易引入边界噪声参数调节较复杂

💡 工程实践黄金法则（防数据泄漏）

无论使用 SMOTE 还是 ROSE，绝对不能在交叉验证（Cross-Validation）或划分训练/测试集之前对整体数据集进行重采样。

  • 正确流程：Train/Test Split 仅在训练集（Training Fold）上执行 SMOTE/ROSE 测试集（Test Set）保持原始不平衡状态进行真实评估。
  • 如果使用 Class Weight，则无需担心此问题，因为它不改变训练数据结构，直接在模型训练时生效。

关系图谱

反向链接