统计学高级 CCA推导

base：

1. 协方差的数字定义转换为向量的定义

1. 问题定义

假设它们都是均值为零的向量，并且有协方差矩阵：

$$\Sigma =\left(\begin{array}{cc}{\Sigma }_{XX}& {\Sigma }_{XY}\\ {\Sigma }_{YX}& {\Sigma }_{YY}\end{array}\right)$$

总体协方差的表示

注意看XY表示了什么

其中：

• ${\Sigma }_{XX}=\mathrm{Cov}(\mathbf{X},\mathbf{X})\in {\mathbb{R}}^{p\times p}$
• ${\Sigma }_{YY}=\mathrm{Cov}(\mathbf{Y},\mathbf{Y})\in {\mathbb{R}}^{q\times q}$
• ${\Sigma }_{XY}=\mathrm{Cov}(\mathbf{X},\mathbf{Y})\in {\mathbb{R}}^{p\times q}$
• ${\Sigma }_{YX}={\Sigma }_{XY}^{\top }$

我们要找到向量 $\mathbf{a}\in {\mathbb{R}}^p$ 和 $\mathbf{b}\in {\mathbb{R}}^q$，使得：

$$U={\mathbf{a}}^{\top }\mathbf{X},V={\mathbf{b}}^{\top }\mathbf{Y}$$

之间的相关系数最大化：

$$\rho =\underset{\mathbf{a},\mathbf{b}}{\max }\frac{{\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}}{\sqrt{{\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}{\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}}}$$

---

2. 转化为广义特征值问题

我们先约束： 为什么要这么CCA约束？ 是因为约束为1后恰好协方差等于相关性

这样目标函数变成：

$$\underset{\mathbf{a},\mathbf{b}}{\max }{\mathbf{a}}^{\top }{\Sigma }_{XY}\mathbf{b}$$ $${\Sigma }_{XY}\mathbf{b}-{\lambda }_X{\Sigma }_{XX}\mathbf{a}=0\Rightarrow {\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\lambda }_X\mathbf{a}$$

对 $\mathbf{b}$ 求偏导：

$${\Sigma }_{YX}\mathbf{a}-{\lambda }_Y{\Sigma }_{YY}\mathbf{b}=0\Rightarrow {\Sigma }_{YY}^{-1}{\Sigma }_{YX}\mathbf{a}={\lambda }_Y\mathbf{b}$$

把第二个式子代入第一个：

$${\Sigma }_{XX}^{-1}{\Sigma }_{XY}{\Sigma }_{YY}^{-1}{\Sigma }_{YX}\mathbf{a}={\lambda }_X{\lambda }_Y\mathbf{a}$$

注意 **先记住这个推导 $\lambda_X \lambda_Y = \rho^2$**， 。于是得到广义特征值问题：

$${\Sigma }_{XX}^{-1}{\Sigma }_{XY}{\Sigma }_{YY}^{-1}{\Sigma }_{YX}\mathbf{a}={\rho }^2\mathbf{a}$$

同理：

$${\Sigma }_{YY}^{-1}{\Sigma }_{YX}{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\rho }^2\mathbf{b}$$

• 从而计算特征值和特征向量，特征向量为所求
• 最大的 $\rho$ 对应 第一对 $({\mathbf{a}}_1,{\mathbf{b}}_1)$
• 次大的 $\rho$ 对应 第二对 $({\mathbf{a}}_2,{\mathbf{b}}_2)$，并且满足 $U_2\perp U_1$ 和 $V_2\perp V_1$

---

3. 用 SVD 求解（更数值稳定）

先做白化（whitening）：

$${\tilde{\Sigma }}_{XX}={\Sigma }_{XX}^{-1/2},{\tilde{\Sigma }}_{YY}={\Sigma }_{YY}^{-1/2}$$

构造矩阵：

$$K={\tilde{\Sigma }}_{XX}{\Sigma }_{XY}{\tilde{\Sigma }}_{YY}$$

对 $K$ 做 SVD：

$$K=P\Lambda Q^{\top }$$

其中：

• $\Lambda =\mathrm{diag}({\rho }_1,{\rho }_2,\dots )$ = 典型相关系数
• $P,Q$ 分别是左、右奇异向量

回到原坐标：

$${\mathbf{a}}_k={\Sigma }_{XX}^{-1/2}{P}_{\cdot k},{\mathbf{b}}_k={\Sigma }_{YY}^{-1/2}{Q}_{\cdot k}$$

于是：

$$U_k={\mathbf{a}}_k^{\top }\mathbf{X},V_k={\mathbf{b}}_k^{\top }\mathbf{Y}$$

---

4. 载荷（Canonical Loadings）

载荷定义为原始变量和典型变量的相关系数：

$${\text{loading}}_X^{(k)}=\mathrm{corr}(\mathbf{X},U_k)=\frac{{\Sigma }_{XX}{\mathbf{a}}_k}{{\sigma }_{U_k}}$$

因为 ${\sigma }_{U_k}=\sqrt{{\mathbf{a}}_k^{\top }{\Sigma }_{XX}{\mathbf{a}}_k}=1$（标准化约束），所以：

$${\text{loading}}_X^{(k)}={\Sigma }_{XX}{\mathbf{a}}_k$$

同理：

$${\text{loading}}_Y^{(k)}={\Sigma }_{YY}{\mathbf{b}}_k$$

如果你要 cross-loadings（交叉载荷）：

$${\text{cross-loading}}_X^{(k)}=\mathrm{corr}(\mathbf{X},V_k)=\frac{{\Sigma }_{XY}{\mathbf{b}}_k}{{\sigma }_{V_k}}$$

---

5. 第一对和第二对 $(U,V)$ 的关系

• 第一对 $(U_1,V_1)$ 来自最大奇异值 ${\rho }_1$ 对应的奇异向量

• 第二对 $(U_2,V_2)$ 来自第二大奇异值 ${\rho }_2$ 对应的奇异向量，且它们与第一对正交：

  $$\mathrm{Cov}(U_1,U_2)=0,\mathrm{Cov}(V_1,V_2)=0$$

1) 用广义特征值法能否直接得到 $(U,V)$ 与载荷？

结论：可以，但要注意规范化步骤以及两组系数之间的关系。

设

$$U={\mathbf{a}}^{\top }\mathbf{X},V={\mathbf{b}}^{\top }\mathbf{Y},$$ $$\Sigma =\left(\begin{array}{cc}{\Sigma }_{XX}& {\Sigma }_{XY}\\ {\Sigma }_{YX}& {\Sigma }_{YY}\end{array}\right).$$

标准做法是在约束

$${\mathbf{a}}^{\top }{\Sigma }_{XX}\mathbf{a}=1,{\mathbf{b}}^{\top }{\Sigma }_{YY}\mathbf{b}=1$$

下最大化 $\mathrm{corr}(U,V)$。拉格朗日法得到广义特征值问题：

$${\Sigma }_{XX}^{-1}{\Sigma }_{XY}{\Sigma }_{YY}^{-1}{\Sigma }_{YX}\mathbf{a}={\rho }^2\mathbf{a},$$ $${\Sigma }_{YY}^{-1}{\Sigma }_{YX}{\Sigma }_{XX}^{-1}{\Sigma }_{XY}\mathbf{b}={\rho }^2\mathbf{b}.$$

最大的 $\rho ={\rho }_1$ 给出第一对 $({\mathbf{a}}_1,{\mathbf{b}}_1)$，次大 ${\rho }_2$ 给出第二对，依此类推（且满足 ${\mathbf{a}}_i^{\top }{\Sigma }_{XX}{\mathbf{a}}_j=0,{\mathbf{b}}_i^{\top }{\Sigma }_{YY}{\mathbf{b}}_j=0$ 对 $i\ne j$）。

计算流程（特征值路线）：

1. 解上式得到按降序排列的特征对 $({\rho }_k^2,{\mathbf{a}}_k)$。

2. 由关系式 ${\Sigma }_{YX}{\mathbf{a}}_k={\rho }_k{\Sigma }_{YY}{\mathbf{b}}_k$ 可得

   $${\mathbf{b}}_k={\rho }_k^{-1}{\Sigma }_{YY}^{-1}{\Sigma }_{YX}{\mathbf{a}}_k.$$

3. 对 ${\mathbf{a}}_k,{\mathbf{b}}_k$ 做规范化，使
   ${\mathbf{a}}_k^{\top }{\Sigma }_{XX}{\mathbf{a}}_k=1,{\mathbf{b}}_k^{\top }{\Sigma }_{YY}{\mathbf{b}}_k=1$。

4. 得到典型变量 $U_k={\mathbf{a}}_k^{\top }\mathbf{X},V_k={\mathbf{b}}_k^{\top }\mathbf{Y}$。

载荷（canonical loadings）——原变量与典型变量的相关：

$${\text{loading}}_X^{(k)}=\mathrm{corr}(\mathbf{X},U_k)=\frac{{\Sigma }_{XX}{\mathbf{a}}_k}{\sqrt{{\mathbf{a}}_k^{\top }{\Sigma }_{XX}{\mathbf{a}}_k}}={\Sigma }_{XX}{\mathbf{a}}_k(\text{因已规范化为 1}),$$ $${\text{loading}}_Y^{(k)}=\mathrm{corr}(\mathbf{Y},V_k)={\Sigma }_{YY}{\mathbf{b}}_k.$$

交叉载荷（cross-loadings）：

$$\mathrm{corr}(\mathbf{X},V_k)=\frac{{\Sigma }_{XY}{\mathbf{b}}_k}{\sqrt{{\mathbf{b}}_k^{\top }{\Sigma }_{YY}{\mathbf{b}}_k}}={\Sigma }_{XY}{\mathbf{b}}_k,\mathrm{corr}(\mathbf{Y},U_k)={\Sigma }_{YX}{\mathbf{a}}_k.$$

小结：解广义特征值 → 得 ${\mathbf{a}}_k$（再算 ${\mathbf{b}}_k$ 与规范化）→ 直接用上面几式算载荷。

---

2) SVD 法每一步到底在做什么（详细）

SVD 路线的核心思想是**白化（whitening）**两边变量，使问题化为普通的奇异值分解。

Step A：对白化矩阵
对称正定矩阵可做特征分解：

$${\Sigma }_{XX}=P_X{\Lambda }_X{P}_X^{\top },{\Sigma }_{YY}=P_Y{\Lambda }_Y{P}_Y^{\top },{\Lambda }_X,{\Lambda }_Y>0.$$

定义

$${\Sigma }_{XX}^{-1/2}=P_X{\Lambda }_X^{-1/2}{P}_X^{\top },{\Sigma }_{YY}^{-1/2}=P_Y{\Lambda }_Y^{-1/2}{P}_Y^{\top }.$$

这两个矩阵把 $\mathbf{X},\mathbf{Y}$ 映到单位协方差空间（白化）。

Step B：构造被白化的互协方差

$$K={\Sigma }_{XX}^{-1/2}{\Sigma }_{XY}{\Sigma }_{YY}^{-1/2}.$$

直观上，$K$ 是“白化后的 X 与白化后的 Y 的互协方差/相关”矩阵。

Step C：对 $K$ 做 SVD

$$K=P\Lambda Q^{\top },\Lambda =\mathrm{diag}({\rho }_1,{\rho }_2,\dots ),{\rho }_1\ge {\rho }_2\ge \cdots \ge 0.$$

这里每个 ${\rho }_k$ 就是第 $k$ 个典型相关系数，而 $P,Q$ 的列向量是白化空间中的方向。

Step D：回到原坐标得到权向量

$${\mathbf{a}}_k={\Sigma }_{XX}^{-1/2}{P}_{\cdot k},{\mathbf{b}}_k={\Sigma }_{YY}^{-1/2}{Q}_{\cdot k}.$$

可直接验证规范化与相关性：

$${\mathbf{a}}_k^{\top }{\Sigma }_{XX}{\mathbf{a}}_k=(P_{\cdot k}{)}^{\top }{P}_{\cdot k}=1,{\mathbf{b}}_k^{\top }{\Sigma }_{YY}{\mathbf{b}}_k=1,$$ $$\mathrm{corr}(U_k,V_k)=\frac{{\mathbf{a}}_k^{\top }{\Sigma }_{XY}{\mathbf{b}}_k}{\sqrt{(\cdot )(\cdot )}}=P_{\cdot k}^{\top }\underset{K}{\underbrace{\left({\Sigma }_{XX}^{-1/2}{\Sigma }_{XY}{\Sigma }_{YY}^{-1/2}\right)}}{Q}_{\cdot k}={\rho }_k.$$

Step E：直接写出载荷（更直观的形式）
因已规范化，载荷就是协方差向量：

$${\text{loading}}_X^{(k)}={\Sigma }_{XX}{\mathbf{a}}_k={\Sigma }_{XX}\left({\Sigma }_{XX}^{-1/2}{P}_{\cdot k}\right)={\Sigma }_{XX}^{1/2}{P}_{\cdot k},$$ $${\text{loading}}_Y^{(k)}={\Sigma }_{YY}{\mathbf{b}}_k={\Sigma }_{YY}^{1/2}{Q}_{\cdot k}.$$

交叉载荷有个非常好记的关系：

$${\Sigma }_{XY}{\mathbf{b}}_k={\Sigma }_{XX}^{1/2}\underset{K}{\underbrace{\left({\Sigma }_{XX}^{-1/2}{\Sigma }_{XY}{\Sigma }_{YY}^{-1/2}\right)}}{Q}_{\cdot k}={\Sigma }_{XX}^{1/2}{\rho }_k{P}_{\cdot k}={\rho }_k{\text{loading}}_X^{(k)},$$

同理 ${\Sigma }_{YX}{\mathbf{a}}_k={\rho }_k{\text{loading}}_Y^{(k)}$。
这说明交叉载荷 = 典型相关 × 本组载荷。

Step F：第二对、第三对 …
SVD 一次就给出所有 $({\rho }_k,P_{\cdot k},Q_{\cdot k})$。
于是

$$U_k={\mathbf{a}}_k^{\top }\mathbf{X},V_k={\mathbf{b}}_k^{\top }\mathbf{Y}$$

天然两两正交（在 ${\Sigma }_{XX}$、${\Sigma }_{YY}$ 度量下），且相关系数依次为 ${\rho }_k$。

---

实务小贴士

• 用样本矩阵时，把 $\Sigma$ 换成样本协方差 $S$（或相关矩阵），流程相同。
• 若 $S_{XX}$ 或 $S_{YY}$ 近奇异/不可逆，常用 正则化（如 $S_{XX}+\lambda I$）或直接用数据矩阵做 SVD 的实现（更稳健）。
• 规范化与符号：$({\mathbf{a}}_k,{\mathbf{b}}_k)$ 的符号可同时取反，不影响 ${\rho }_k$。载荷与得分的符号也相应变号。

---

一页式流程（SVD实现）

1. 计算 $S_{XX},S_{YY},S_{XY}$（中心化后）。
2. 求 $S_{XX}^{-1/2},S_{YY}^{-1/2}$（用特征分解）。
3. $K=S_{XX}^{-1/2}{S}_{XY}{S}_{YY}^{-1/2}$。
4. 对 $K$ 做 SVD：$K=P\Lambda Q^{\top }$。
5. ${\mathbf{a}}_k=S_{XX}^{-1/2}{P}_{\cdot k},{\mathbf{b}}_k=S_{YY}^{-1/2}{Q}_{\cdot k}$；
   $U_k={\mathbf{a}}_k^{\top }X,V_k={\mathbf{b}}_k^{\top }Y$。
6. 载荷：$L_X^{(k)}=S_{XX}{\mathbf{a}}_k=S_{XX}^{1/2}{P}_{\cdot k}$，
   $L_Y^{(k)}=S_{YY}{\mathbf{b}}_k=S_{YY}^{1/2}{Q}_{\cdot k}$；
   交叉载荷：$S_{XY}{\mathbf{b}}_k={\rho }_k{L}_X^{(k)}$，$S_{YX}{\mathbf{a}}_k={\rho }_k{L}_Y^{(k)}$。

这样两条路线（广义特征值、SVD）就完全打通了；你既能从广义特征值直接得到 $(U,V)$ 与载荷，也能用更稳健的 SVD 步骤一步步算清楚每个量的来源。