回归 交叉熵损失

交叉熵损失（Cross-Entropy Loss）是分类问题中最常用的损失函数之一，特别是在 逻辑回归、神经网络、深度学习 中。

交叉熵衡量的是预测概率分布与真实分布之间的差距。预测越接近真实标签，交叉熵越小。

📌 二分类交叉熵公式（Binary Classification）

当目标 $y\in \{0,1\}$，预测值 $\hat{y}\in (0,1)$，即：

$$\text{Loss}=-\left[y\cdot \log (\hat{y})+(1-y)\cdot \log (1-\hat{y})\right]$$

真值 $y$	预测 $\hat{y}$	损失
1	0.9	很小
1	0.1	很大
0	0.1	很小
0	0.9	很大

---

📌 多分类交叉熵（Multiclass Classification）

如果有 $K$ 个类别，真实标签是 one-hot 向量 $y=[0,0,1,0]$，预测是 softmax 输出 $\hat{y}=[0.1,0.2,0.6,0.1]$，那么：

$$\text{Loss}=-\sum _{i=1}^K{y}_i\log ({\hat{y}}_i)$$

由于只有一个 $y_i=1$，这变成了：

$$\text{Loss}=-\log ({\hat{y}}_{\text{true class}})$$

---

逻辑回归的损失函数，其实就是交叉熵：

$$\mathcal{L}=\sum _{i=1}^n-y_i\log ({\hat{y}}_i)-(1-y_i)\log (1-{\hat{y}}_i)$$

• “交叉熵 = 惩罚不确定性 + 奖励准确性”
• 是分类任务的首选损失函数
• 对错误预测惩罚大，对正确预测惩罚小