拉格朗日形式

利用拉格朗日乘子法，对 $\mathbf{a}$ 求偏导：

1️⃣ 通用的拉格朗日函数形式

假设你要最大化（或最小化）目标函数约束条件是：

$$g_i(\mathbf{x})=0,i=1,\dots ,m$$

那么拉格朗日函数的通用形式是：

$$\mathcal{L}(\mathbf{x},{\lambda }_1,\dots ,{\lambda }_m)=f(\mathbf{x})-\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})$$

• 这里 ${\lambda }_i$ 是拉格朗日乘子
• 关键是在梯度条件下，你要满足：

$${\nabla }_{\mathbf{x}}\mathcal{L}=0$$

---

2️⃣ 为什么 CCA 推导里用 0.5 倍？

在 CCA 的例子中，我们写：

$$\mathcal{L}(\mathbf{a},\mathbf{b},\lambda ,\mu )={\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}-\frac{\lambda }{2}({\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}-1)-\frac{\mu }{2}({\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}-1)$$

CCA拉格朗日乘子法的过程。

---

1. 优化问题

我们要解：
${\max }_{\mathbf{a},\mathbf{b}}{\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}$
约束：
${\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}=1,{\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}=1$

---

因为约束

2. 拉格朗日函数

引入拉格朗日乘子 ${\lambda }_X$ 和 ${\lambda }_Y$：
$\mathcal{L}(\mathbf{a},\mathbf{b},{\lambda }_X,{\lambda }_Y)={\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}-\frac{{\lambda }_X}{2}({\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}-1)-\frac{{\lambda }_Y}{2}({\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}-1)$
注意：通常前面加 $\frac{1}{2}$ 是为了求导时消去系数2，但也可以不加，乘子会相应缩放，不影响最终解。

---

3. 对 $\mathbf{a}$ 求偏导

将 $\mathcal{L}$ 看作 $\mathbf{a}$ 的函数，注意：

• ${\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}$ 是标量，对 $\mathbf{a}$ 求导：
  $\frac{\partial }{\partial \mathbf{a}}({\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b})={\Sigma }_{XY}\mathbf{b}$
  因为 ${\mathbf{a}}^{\top }M\mathbf{b}={\sum }_{i,j}{a}_i{M}_{ij}{b}_j$，对 $a_k$ 求导得 ${\sum }_j{M}_{kj}{b}_j$，即 $M\mathbf{b}$ 的第 $k$ 个分量。

• 对二次型 ${\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}$ 求导（对称矩阵）：
  $\frac{\partial }{\partial \mathbf{a}}({\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a})=2{\Sigma }_{XX}\mathbf{a}$

所以：
$\frac{\partial \mathcal{L}}{\partial \mathbf{a}}={\Sigma }_{XY}\mathbf{b}-{\lambda }_X{\Sigma }_{XX}\mathbf{a}=0$
即：
${\Sigma }_{XY}\mathbf{b}={\lambda }_X{\Sigma }_{XX}\mathbf{a}$

---

4. 整理方程

假设 ${\Sigma }_{XX}$ 可逆（通常协方差矩阵正定）：
${\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_X\mathbf{a}$
这就是你看到的：
$\boxed{{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_X\mathbf{a}}$

---

5. 对 $\mathbf{b}$ 求偏导

类似地：
$\frac{\partial \mathcal{L}}{\partial \mathbf{b}}={\Sigma }_{XY}^{\top }\mathbf{a}-{\lambda }_Y{\Sigma }_{YY}\mathbf{b}=0$
因为 ${\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}={\mathbf{b}}^{\top }{\Sigma }_{XY}^{\top }\mathbf{a}$，对 $\mathbf{b}$ 求导得到 ${\Sigma }_{XY}^{\top }\mathbf{a}$。

所以：
${\Sigma }_{XY}^{\top }\mathbf{a}={\lambda }_Y{\Sigma }_{YY}\mathbf{b}$
假设 ${\Sigma }_{YY}$ 可逆：
$\boxed{{\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }\mathbf{a}={\lambda }_Y\mathbf{b}}$

---

6. 结合两个方程

从 $\mathbf{a}$ 的方程：
$\mathbf{a}=\frac{1}{{\lambda }_X}{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}$
代入 $\mathbf{b}$ 的方程：
${\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }\left(\frac{1}{{\lambda }_X}{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}\right)={\lambda }_Y\mathbf{b}$
整理：
$\frac{1}{{\lambda }_X}{\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_Y\mathbf{b}$
即：
${\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_X{\lambda }_Y\mathbf{b}$

---

7. 对称性发现

注意 ${\lambda }_X$ 和 ${\lambda }_Y$ 的关系。从原方程：
${\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}={\lambda }_X{\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}={\lambda }_X\cdot 1$
同时：
${\mathbf{b}}^{\top }{\Sigma }_{XY}^{\top }\mathbf{a}={\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}={\lambda }_Y{\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}={\lambda }_Y\cdot 1$
所以：
${\lambda }_X={\lambda }_Y=\rho \text{(相关系数)}$

---

8. 最终特征值问题

代入 ${\lambda }_X={\lambda }_Y=\rho$，得到：
${\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}=\rho \mathbf{a}$
${\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }\mathbf{a}=\rho \mathbf{b}$

消去 $\mathbf{a}$ 或 $\mathbf{b}$，得到两个特征值问题：

对 $\mathbf{a}$：
${\Sigma }_{XY}{\Sigma }_{YY}^{-1}{\Sigma }_{XY}^{\top }\mathbf{a}={\rho }^2{\Sigma }_{XX}\mathbf{a}$

对 $\mathbf{b}$：
${\Sigma }_{XY}^{\top }{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\rho }^2{\Sigma }_{YY}\mathbf{b}$

这里的 ${\rho }^2$ 就是要求解的典型相关系数的平方。

---

关键步骤总结：

1. 拉格朗日函数：$\mathcal{L}={\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}-\frac{{\lambda }_X}{2}({\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}-1)-\frac{{\lambda }_Y}{2}({\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}-1)$
2. 对 $\mathbf{a}$ 求导：${\Sigma }_{XY}\mathbf{b}-{\lambda }_X{\Sigma }_{XX}\mathbf{a}=0$
3. 整理：${\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_X\mathbf{a}$
4. 发现 ${\lambda }_X={\lambda }_Y=\rho$
5. 转化为特征值问题

这样推导出来的 $\rho$ 就是最大化的相关系数，对应的 $\mathbf{a},\mathbf{b}$ 是第一对典型变量方向。