增益

决策树在进行“分裂（Split）”时，核心目标只有一个：让分裂后的子节点变得“更纯”（Classification）或者“内部差异更小”（Regression）。

但因为分类任务预测的是离散类别（如：是/否、疾病类型），而回归任务预测的是连续数值（如：房价、蛋白表达量），它们衡量“好坏”的标准完全不同。

我们可以通过直观的结构和数学直觉，把这两类树的分裂准则彻底理清。

---

一、 分类树的分裂准则（关注“纯度 / 混杂度”）

分类树的目标是让分裂后的子节点尽量属于同一类。常用的两个准则分别是基尼不纯度（Gini Impurity）和信息增益（Information Gain / 基于熵 Entropy）。

1. 基尼不纯度 (Gini Impurity)

• 直观理解：从节点中随机抽取两个样本，其类别标记不一致的概率。
• 数学公式（以二分类为例）：

$Gini=1-{\sum }_{i=1}^C{p}_i^2$

其中 $p_i$ 是第 $i$ 类样本占总样本的比例。

• 极值情况：
• 极纯（全是同一类，比如 $p_1=1,p_2=0$）：$Gini=1-(1^2+0^2)=0$（最低，最好）。
• 最混杂（两类各占一半，$p_1=0.5,p_2=0.5$）：$Gini=1-(0.5^2+0.5^2)=0.5$（最高，最乱）。

2. 信息熵与信息增益 (Entropy & Information Gain)

• 直观理解：源自信息论，衡量系统的“混乱程度”（Uncertainty）。
• 数学公式（熵）：

$Entropy=-{\sum }_{i=1}^C{p}_i{\log }_2(p_i)$

• 信息增益 = 父节点的熵 - 分裂后子节点熵的加权平均。信息增益越大，说明分裂效果越好（混乱度下降最快）。

---

👁️ 【可视化呈现】分类树的分裂过程

假设我们有一个特征（如“年龄”），要把样本分成左右两个子节点：

               【 父节点：混杂度高 】
               [ A: 50个, B: 50个 ]
             Gini = 0.5 | Entropy = 1.0
                     /         \
                    /           \
     按 Feature < 30 分裂       按 Feature >= 30 分裂
                  /               \
                 v                 v
      【 左子节点：较纯 】         【 右子节点：较纯 】
      [ A: 40个, B: 10个 ]         [ A: 10个, B: 40个 ]
    Gini = 1 - ((40/50)^2 + (10/50)^2)    Gini = 1 - ((10/50)^2 + (40/50)^2)
         = 1 - (0.64 + 0.04) = 0.32           = 0.32
 

• 分裂评估：分裂前的 Gini 是 $0.5$，分裂后的平均 Gini 降到了 $0.32$。下降幅度（$0.5-0.32=0.18$）就是这个分裂点带来的纯度提升。分类树会遍历所有特征的所有切分点，选择让 Gini 下降最多的那个点。

---

二、 回归树的分裂准则（关注“方差 / 离散度”）

回归树预测的是连续值，节点里没有“类别占比”，只有一堆具体的数字（如 [2.5, 3.1, 2.8, 10.5]）。此时无法用 Gini 或 Entropy，必须用衡量数值离散程度的指标。

最常用的准则有均方误差（MSE / 减小方差 Variance Reduction）和平均绝对误差（MAE）。

1. 均方误差与方差减小 (MSE / Variance Reduction)

• 直观理解：希望分裂后的每个子节点内部数值越集中越好（即方差越小、大家越接近该组的平均值）。
• 数学公式（子节点的 MSE）：

$MSE=\frac{1}{N}{\sum }_{i=1}^N(y_i-\bar{y}{)}^2$

其中 $y_i$ 是真实值，$\bar{y}$ 是该子节点的均值。

• 分裂准则：寻找一个分裂点，使得左右子节点 MSE 的加权和最小（等价于最大化方差减少量）。

---

👁️ 【可视化呈现】回归树的分裂过程

假设我们的目标变量 $Y$ 是房屋价格（单位：万美元）：

               【 父节点：数值分散 】
               Y值集合: [10, 12, 15, 50, 52, 55]
               均值 ȳ = 32.3
               MSE = 方差 (很大)
                     /         \
                    /           \
           按 面积 < 100 平方米分裂   按 面积 >= 100 平方米分裂
                  /               \
                 v                 v
      【 左子节点：低方差 】       【 右子节点：低方差 】
      Y值集合: [10, 12, 15]        Y值集合: [50, 52, 55]
      均值 = 12.3                  均值 = 52.3
      MSE = 3.56 (很小)            MSE = 3.56 (很小)
 

• 分裂评估：原本父节点所有数据混在一起，方差极大（因为有十几万的也有五十几万的）。一刀切开后，左边是一群“低价房”，右边是一群“高价房”，两边各自内部的均方误差（MSE）变得极小。回归树就是靠寻找能让两边 MSE 之和最小的切分点来建树的。

---

三、 核心总结对比表

维度	分类树 (Classification Tree)	回归树 (Regression Tree)
预测目标	离散类别 (Categorical)	连续数值 (Continuous)
核心优化目标	提高纯度 (Purity)	降低方差 (Variance Reduction)
主流分裂准则	Gini 不纯度

信息增益 / 熵 (Entropy) | 均方误差 (MSE / Variance)

平均绝对误差 (MAE) |
| 叶节点最终输出 | 投票决定的多数类 (Majority Vote) | 样本数值的平均值 (Mean) 或中位数 |