未命名

交叉熵损失（Cross-Entropy Loss）是分类问题中最常用的损失函数之一，特别是在 逻辑回归、神经网络、深度学习 中。

交叉熵衡量的是预测概率分布与真实分布之间的差距。预测越接近真实标签，交叉熵越小。

---

🧠 背后直觉：

• 如果你的模型对正确类别非常自信（例如预测是 99%），你应该得到一个小的损失
• 如果你对错误类别很自信（例如预测错误标签 99%），交叉熵会狠狠惩罚你

---

📌 二分类交叉熵公式（Binary Classification）

当目标 $y\in \{0,1\}$，预测值 $\hat{y}\in (0,1)$，即：

$$\text{Loss}=-\left[y\cdot \log (\hat{y})+(1-y)\cdot \log (1-\hat{y})\right]$$

真值 $y$	预测 $\hat{y}$	损失
1	0.9	很小
1	0.1	很大
0	0.1	很小
0	0.9	很大

---

📌 多分类交叉熵（Multiclass Classification）

如果有 $K$ 个类别，真实标签是 one-hot 向量 $y=[0,0,1,0]$，预测是 softmax 输出 $\hat{y}=[0.1,0.2,0.6,0.1]$，那么：

$$\text{Loss}=-\sum _{i=1}^K{y}_i\log ({\hat{y}}_i)$$

由于只有一个 $y_i=1$，这变成了：

$$\text{Loss}=-\log ({\hat{y}}_{\text{true class}})$$

---

✅ R中怎么用？

在 逻辑回归中（glm(family="binomial")）使用的是交叉熵损失，你虽然没有直接看到，但它在背后计算对数似然，就是这个公式。

在 深度学习中（比如 keras::loss_binary_crossentropy），你可以直接用交叉熵作为 loss function。

---

🔁 交叉熵与逻辑回归的关系：

逻辑回归的损失函数，其实就是交叉熵：

$$\mathcal{L}=\sum _{i=1}^n-y_i\log ({\hat{y}}_i)-(1-y_i)\log (1-{\hat{y}}_i)$$