AIC BIC

在统计学和机器学习中，MSE、RMSE 和 AIC/BIC 是评估和比较模型性能的核心指标。它们的核心区别在于：MSE 和 RMSE 衡量的是预测误差的大小（拟合优度），而 AIC 和 BIC 衡量的是模型拟合优度与复杂度（参数数量）之间的平衡。

---

1. 误差与预测精度指标（MSE & RMSE）

这两者主要用于回归任务，评估模型预测值与真实值之间的偏离程度。

符号定义

• $y_i$：真实值
• ${\hat{y}}_i$：模型预测值
• $n$：样本量

---

(1) MSE (Mean Squared Error, 均方误差)

• 公式：

$MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$

• 特点：
• 对误差进行了平方处理，因此对极端异常值（Outliers）非常敏感（大误差会被极度放大）。
• 值的单位是原数据单位的平方，不便于直观解释实际业务意义。

---

(2) RMSE (Root Mean Squared Error, 均方根误差)

• 公式：

$RMSE=\sqrt{MSE}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}$

• 特点：
• 在 MSE 的基础上开根号，使单位恢复到与原数据一致（例如预测基因表达量或生物指标时，RMSE 与原始数据同单位）。
• 依然保持了对大误差敏感的特性，是回归模型中最常用的评估指标之一。

---

2. 信息准则与模型复杂度惩罚（AIC & BIC）

当比较不同复杂度的模型（如多项式回归的阶数选择、不同自变量组合的线性模型）时，仅看误差会导致“过拟合”（模型参数越多，误差通常越小，但泛化能力变差）。AIC 和 BIC 引入了对模型复杂度的惩罚项。

---

(1) AIC (Akaike Information Criterion, 赤池信息准则)

• 公式（基于最大似然估计）：

$AIC=2k-2\ln (L)$

(其中 $k$ 为模型参数个数，$L$ 为似然函数最大值。对于常方差正态误差模型，可近似简化为 $AIC=n\ln (\frac{SSE}{n})+2k$)

• 核心思想：
• 来源于信息论（KL散度），旨在寻找能够最好地拟合数据且信息损失最小的模型。
• 惩罚项为 $2k$，惩罚力度相对较轻，更倾向于选择预测能力强的复杂模型。

---

(2) BIC (Bayesian Information Criterion, 贝叶斯信息准则)

• 公式：

$BIC=k\ln (n)-2\ln (L)$

(其中 $n$ 为样本量，$k$ 为参数个数)

• 核心思想：
• 来源于贝叶斯推断，旨在寻找真实生成模型的概率最高。
• 惩罚项为 $k\ln (n)$。当样本量 $n\ge 8$ 时，$\ln (n)>2$，因此 BIC 对参数的惩罚力度比 AIC 更重。
• 在大样本下，BIC 更倾向于选择简洁的模型（Parsimonious Model）。

---

3. 核心指标对比总结

指标	类型	主要用途	核心优劣势
MSE	误差度量	回归模型预测精度评估	直观反映误差平方和，但单位是平方，对大误差敏感。
RMSE	误差度量	回归模型预测精度评估	与原数据同单位，解释直观，同样对异常值敏感。
AIC	信息准则	非嵌套/嵌套模型选择、特征选择	倾向于选择预测性能更好的模型，大样本下可能选出参数稍多的模型。
BIC	信息准则	模型选择、寻找真实数据生成机制	惩罚更严，倾向于选择更简洁、参数更少的模型。

---

4. 实际应用中的选择建议

1. 同类模型评测（看精度）：

• 如果仅需对比在测试集上的预测表现，首选 RMSE（便于直观理解误差绝对大小）。

2. 多变量回归 / 统计建模（平衡拟合与复杂度）：

• 当比较不同自变量组合的回归模型时，不能只看残差平方和（或 MSE），而应使用 AIC 或 BIC。
• 样本量较小或注重预测能力时，倾向参考 AIC。
• 样本量较大且追求模型精简、防止过拟合时，倾向参考 BIC。
• 注：在 AIC/BIC 的比较中，数值越小代表模型越优。

---

$L$（Likelihood，似然）既不是“损失函数最小的可能性”，也不是参数本身。

简单来说，$L$ 是一个数值，代表：在当前模型参数下，我们已经观测到的这批真实数据，有多大可能（概率）会发生。

为了彻底解开你的困惑，我们可以从它的定义、与参数的关系、以及它和误差（损失）的联系来拆解：

---

1. $L$ 到底是什么？（似然函数的含义）

在统计学中：

• 概率（Probability）：已知参数，去预测未来数据发生的可能。
• 似然（Likelihood）：已知已经发生的数据，去倒推“什么样的参数”最有可能造就这批数据。

假设你手头有一批实验数据（比如基因表达量或房价）。你猜了一个模型（比如线性回归），模型里有一堆参数（如斜率 $\beta$、截距等）。

• 把这组参数代入模型，算一下“生成你手头这批真实数据的概率是多少”。
• 这个概率值，就是似然值 $L$。
• 极大似然估计（Maximum Likelihood Estimation, MLE）：就是去寻找一组参数，让这个概率 $L$ 达到最大值——也就是说，“找出最有可能产生这组现实数据的参数”。

因此，$L$ 是当参数取到最优解时，计算出来的最大概率（或概率密度）数值。

---

2. $L$ 是参数吗？

不是。

• 参数（Parameters，即公式中的 $k$）：是模型的自变量，比如直线的斜率、截距、神经网络的权重。
• $L$（Likelihood）：是把最优参数代入似然函数后，算出来的函数结果（一个具体的高低数值）。
• 在 AIC/BIC 公式里，$-2\ln (L)$ 里的 $L$ 指的是似然函数取到最大值时的那个峰值大小。

---

3. $L$ 和“误差 / 损失（Loss）”是什么关系？

虽然 $L$ 本身是“发生的概率”，但在大多数回归模型中，它和误差（MSE/SSE）是硬币的正反面：

• 误差越小 $\to$ 数据越听话 $\to$ 发生概率越大 $\to$ 似然值 $L$ 越高。
• 反之，如果模型预测得一塌糊涂（误差很大），那么现实中发生这批数据的概率就极低，$L$ 就会非常小。

正因如此，在很多信息准则的推导中（比如正态误差假设下）：

• 最大化似然 $L$（让 $L$ 最大） $⟺$ 最小化残差平方和 / MSE。
• 为了把乘法或概率变成便于计算的加法，并与信息论（熵）对齐，统计学家在前面加了一个负号和 $\ln$，写成了 $-2\ln (L)$。
• 这样一来，$-2\ln (L)$ 就变成了一个“代表模型拟合有多差”的损失度量：$L$ 越大，$\ln (L)$ 越大，加负号后 $-2\ln (L)$ 的值就越小（代表误差越小、拟合越好）。

---

4. 总结 AIC/BIC 中这一项的直观逻辑

• $-2\ln (L)$：代表模型没拟合好的程度（误差/损失）。模型越准，这个值越小。
• $2k$ 或 $k\ln (n)$：代表对模型复杂的惩罚（参数越多，这个值越大）。
• AIC/BIC 就是在找：既要让误差小（$-2\ln (L)$ 小），又要让模型别太复杂（$2k$ 小）的那个最佳平衡点。