回归 glm

👉 把响应变量的“期望值”通过某种变换，变成一个可以用线性回归来建模的形式。

• ✅ 是 link 函数把问题转化为线性回归形式

GLM 的结构：

广义线性模型包括三部分：

1. 随机成分：响应变量 $Y$ 的分布（如二项、泊松、高斯等）
2. 系统成分：线性预测器 $\eta =X\beta$
3. 连接函数（link function）：连接响应变量的期望 $\mu =E[Y]$ 与线性预测器的函数 $g(\mu )=\eta$

---

💡 举例：logistic 回归（即 GLM + logit link）

预测概率 将概率映射到武清范围

所以我们使用 logit 连接函数：

$$\text{logit}(\mu )=\log \left(\frac{\mu }{1-\mu }\right)=X\beta$$

是 link function $g(\mu )$（这里是 logit）让你能对概率 $\mu$ 建立线性模型。

如果我们想预测一个事件发生的概率 $\mu$，直接用上面的线性模型就会出大问题。
因为概率 $\mu$ 的范围是死死固定在 $[0,1]$ 之间的（比如 $0\%$ 到 $100\%$）。

解法：用 Link Function（连接函数）做“空间拉伸”

为了让右边那个可以跑到无穷大或无穷小的线性模型，能跟左边只能在 $0$ 到 $1$ 之间的概率 $\mu$ 强行绑定在一起，我们就需要一个“翻译官”（也就是连接函数 $g(\mu )$）。

这个翻译官的工作是：把 $[0,1]$ 之间的概率，映射（拉伸）到 $[-\infty ,+\infty ]$ 的整个宇宙中去。

在逻辑回归（Logistic Regression）中，这个翻译官就是 Logit 函数。

第一步：从“概率”变成“几率” (Odds)

我们不直接预测概率 $\mu$，我们先看发生与不发生的比率：

$\text{Odds}=\frac{\mu }{1-\mu }$

• 如果概率 $\mu =0.5$，Odds = $0.5/0.5=1$
• 如果概率 $\mu$ 接近 $1$（比如 $0.999$），Odds 就会变成正无穷 ($\frac{0.999}{0.001}=999$)
• 如果概率 $\mu$ 接近 $0$（比如 $0.001$），Odds 就会接近 $0$ ($\frac{0.001}{0.999}\approx 0$)

你看，通过这一步，我们把原本 $[0,1]$ 的范围，拉伸到了 $[0,+\infty ]$。但还不够，负数部分还没填满。

现在我们终于可以把两边画等号了：

$\ln \left(\frac{\mu }{1-\mu }\right)={\beta }_0+{\beta }_1{x}_1$

所以说，是 Link Function $g(\mu )$ 充当了桥梁，让“线性模型”有资格去操控和预测“概率”。

计算过程

你只有y标签和X特征，如何算回归系数进而得到概率呢概率呢？ 极大似然估计 (Maximum Likelihood Estimation, MLE)。

第一步：反向求解，让模型能吐出概率

既然我们建立了公式： $\ln \left(\frac{\mu }{1-\mu }\right)={\beta }_0+{\beta }_{1}x$

$\mu =\frac{1}{1+e^{-({\beta }_0+{\beta }_{1}x)}}$

反写公式

第二步：建立一个“连连看”的评分机制（似然函数）

现在，假设我们手头有一组盲猜的系数，比如 ${\beta }_0=-2,{\beta }_1=0.5$。我们把观察值 $x$ 代入上面的公式，去和真实的 $y$ 对比：

• 样本 1：真实 $y=1$。模型代入 $x_1$ 后，算出概率 ${\mu }_1=0.9$。

• 评价：猜得挺准！既然真实是 1，那发生的概率是 0.9，这个样本的“合理得分”就是 $0.9$。

• 样本 2：真实 $y=0$。模型代入 $x_2$ 后，算出概率 ${\mu }_2=0.8$。

• 评价：猜得太离谱了！真实是 0，你居然说有 80% 的概率发生？那它“不发生”的概率只有 $1-0.8=0.2$。这个样本的“合理得分”就是 $0.2$。

把所有样本的“合理得分”全部乘起来，得到的总分就叫似然度 (Likelihood)。用数学公式表达就是：

$L(\beta )={\prod }_{y_i=1}{\mu }_i\times {\prod }_{y_i=0}(1-{\mu }_i)$

我们的终极目标：找到一组最完美的 ${\beta }_0,{\beta }_1$，让这个总分（似然度）达到最大。这就意味着这组系数最符合我们看到的观察值。

---

第三步：计算机是如何“收敛”并找到答案的

因为连乘在数学上很难算，计算机处理时会做两件事：

1. 取对数 (Log)：把令人头疼的“连乘”变成“连加”，这就变成了 对数似然函数 (Log-Likelihood)。
2. 加负号：因为计算机算法通常喜欢“寻找最小值”（比如损失函数的最小值），所以加个负号，就变成了大名鼎鼎的 二元交叉熵损失 (Binary Cross-Entropy Loss)。

由于逻辑回归的这个损失函数是一个非常完美的凸函数（像一个大碗，只有一个最低点，没有乱七八糟的局部陷阱），计算机通常使用梯度下降法 (Gradient Descent) 或 牛顿法 (Newton-Raphson)：
这时候，计算机就宣布“模型收敛了”。打印出来的 ${\beta }_0,{\beta }_1$ 就是最终的参数。

最初的概率是瞎猜的