Aᵀ Σ A 这种形式在协方差变换中的推导、
1. 基本设定与推导目标
设定
我们有一个 随机向量 X（p × 1 列向量）：
它的均值向量为 μ，协方差矩阵为 Σ（p × p）：
线性变换
现在用矩阵 A（p × k，其中 k ≤ p）对 X 做线性变换，得到一个新的随机向量 Y（k × 1）：
注意这里的写法：AᵀX 意味着 A 的每一列代表一个线性组合的权重向量，而 Aᵀ 的每一行就是一个权重向量。
我们的目标是：求变换后向量 Y 的协方差矩阵：
2. 详细推导步骤
第1步：写出 Y 的表达式及其均值
第2步：写出 Y 的协方差矩阵定义
协方差矩阵定义为：
代入 Y = A^T X 和 E[Y] = A^T μ： 理解 写一个列式
第3步：代入定义计算
\text{Cov}(Y) &= E\left[ \left( A^T (X - \mu) \right) \left( A^T (X - \mu) \right)^T \right] \\ &= E\left[ A^T (X - \mu) (X - \mu)^T A \right] \quad \text{（注意：}(AB)^T = B^T A^T \text{）} \end{aligned}$$ **第4步：利用期望的线性性质和 A 是常数矩阵** 由于 `A` 是常数矩阵（不是随机的），可以提到期望外面： $$\begin{aligned} \text{Cov}(Y) &= A^T \; E\left[ (X - \mu) (X - \mu)^T \right] \; A \\ &= A^T \; \text{Cov}(X) \; A \\ \end{aligned}$$ --- ## 3. 最终结果与解释 我们得到了协方差矩阵的变换公式： $$\boxed{\text{Cov}(A^T X) = A^T \; \text{Cov}(X) \; A}$$ 或者写成： $$\Sigma_Y = A^T \Sigma_X A$$ **维度检查**： - `Σ_X` 是 `p × p` - `A` 是 `p × k` - `Aᵀ` 是 `k × p` - `Aᵀ Σ_X A` 是 `(k×p) × (p×p) × (p×k) = k × k` 这正是 `Y`（`k` 维向量）的协方差矩阵应有的维度。 --- ### 几何意义 - `Σ` 描述了原始数据 `X` 的椭圆等高线形状。 - `AᵀΣA` 描述了数据投影到由 `A` 的列张成的子空间后的椭圆形状。 - 公式 `AᵀΣA` 本质上是在计算**新坐标系下的二次型**。 --- ## 6. 在 CCA 中的应用 在典型相关分析中： - 我们有 `X`（`p₁` 维）和 `Y`（`p₂` 维） - 寻找 `a` 和 `b` 使得 `U = aᵀX` 和 `V = bᵀY` 的相关性最大 - 计算相关系数时需要 `Var(U) = aᵀΣ_{XX}a`，`Var(V) = bᵀΣ_{YY}b`，`Cov(U,V) = aᵀΣ_{XY}b` 这个 `AᵀΣA` 形式的公式正是这些计算的基础。 --- ### 总结要点 1. **`AᵀΣA`** 是**线性变换后随机向量的协方差矩阵**。 2. 推导基于：`Cov(AᵀX) = E[Aᵀ(X-μ)(X-μ)ᵀA] = Aᵀ E[(X-μ)(X-μ)ᵀ] A = AᵀΣA`。 3. 这是多元统计中**投影方差/协方差计算**的通用公式。 4. 在 PCA、CCA、因子分析、线性判别分析等算法中无处不在。 这个公式的美妙之处在于它将复杂的多元变换的协方差计算，简化为一个简洁的矩阵三重积形式。 # 两个推导 ## **1. 设定** 设： - $\mathbf{X} = (X_1, \dots, X_p)^T$，$\mathbb{E}[\mathbf{X}] = \boldsymbol{\mu}_X$ - $\mathbf{Y} = (Y_1, \dots, Y_q)^T$，$\mathbb{E}[\mathbf{Y}] = \boldsymbol{\mu}_Y$ - $\mathbf{a} \in \mathbb{R}^p$，$\mathbf{b} \in \mathbb{R}^q$ 是常数列向量 - 定义标量随机变量： $$U = \mathbf{a}^T \mathbf{X} = \sum_{i=1}^p a_i X_i$$ $$V = \mathbf{b}^T \mathbf{Y} = \sum_{j=1}^q b_j Y_j$$ --- ## **2. 协方差定义** $$\operatorname{Cov}(U, V) = \mathbb{E}[(U - \mathbb{E}[U])(V - \mathbb{E}[V])]$$ --- ## **3. 展开期望** 首先： $$\mathbb{E}[U] = \mathbf{a}^T \boldsymbol{\mu}_X,\quad \mathbb{E}[V] = \mathbf{b}^T \boldsymbol{\mu}_Y$$ 因此： $$U - \mathbb{E}[U] = \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X)$$ $$V - \mathbb{E}[V] = \mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y)$$ 所以： $$\operatorname{Cov}(U, V) = \mathbb{E}\left[ \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X) \cdot \mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y) \right]$$ 注意：这里两个乘积都是标量，且 $\mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X)$ 是标量，$\mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y)$ 也是标量，因此它们的乘积可以交换次序，也可以把常数向量提出期望外。 --- ## **4. 利用标量的转置等于自身** 对于标量 $s = \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X)$，有 $s = s^T$，于是： $$\mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X) \cdot \mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y) = \left[ \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X) \right] \cdot \left[ \mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y) \right]$$ $$= \left[ \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X) \right] \cdot \left[ (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \mathbf{b} \right]$$ （因为标量 $\mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y) = (\mathbf{b}^T (\mathbf{Y} - \boldsymbol{\mu}_Y))^T = (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \mathbf{b}$） 因此： $$\operatorname{Cov}(U, V) = \mathbb{E}\left[ \mathbf{a}^T (\mathbf{X} - \boldsymbol{\mu}_X) (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \mathbf{b} \right]$$ --- ## **5. 提出常数向量** 因为 $\mathbf{a}$ 和 $\mathbf{b}$ 是常数向量，可以移到期望外面： $$\operatorname{Cov}(U, V) = \mathbf{a}^T \; \mathbb{E}\left[ (\mathbf{X} - \boldsymbol{\mu}_X) (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \right] \; \mathbf{b}$$ --- ## **6. 识别协方差矩阵** 根据定义： $$\Sigma_{XY} = \operatorname{Cov}(\mathbf{X}, \mathbf{Y}) = \mathbb{E}\left[ (\mathbf{X} - \boldsymbol{\mu}_X) (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \right]$$ 这是一个 $p \times q$ 矩阵。 因此： $$\boxed{\operatorname{Cov}(\mathbf{a}^T \mathbf{X}, \mathbf{b}^T \mathbf{Y}) = \mathbf{a}^T \Sigma_{XY} \mathbf{b}}$$ --- ## **7. 简单特例验证** 若 $p = q = 1$，则 $\mathbf{X} = X$，$\mathbf{Y} = Y$，$\mathbf{a} = a$，$\mathbf{b} = b$，$\Sigma_{XY} = \operatorname{Cov}(X,Y)$，公式变为： $$\operatorname{Cov}(aX, bY) = a \cdot \operatorname{Cov}(X,Y) \cdot b = ab \operatorname{Cov}(X,Y)$$ 这与标量协方差性质一致。 --- ## **8. 重要推论** 这个公式非常有用，例如： 1. **相关系数推导**： $$\operatorname{Corr}(\mathbf{a}^T \mathbf{X}, \mathbf{b}^T \mathbf{Y}) = \frac{\mathbf{a}^T \Sigma_{XY} \mathbf{b}}{\sqrt{(\mathbf{a}^T \Sigma_{XX} \mathbf{a})(\mathbf{b}^T \Sigma_{YY} \mathbf{b})}}$$ 2. **CCA（典型相关分析）**的目标函数就来自最大化这个相关系数。 3. **投影后的协方差**：对随机向量做线性变换后，协方差矩阵变为 $A \Sigma B^T$ 形式。 、