分块矩阵怎么来的

好的，我们来一步步推导两个随机向量 $\mathbf{X}$ 和 $\mathbf{Y}$ 的协方差矩阵。

---

1. 定义与设定

设
$\mathbf{X}=(X_1,X_2,\dots ,X_p{)}^T\in {\mathbb{R}}^p$
$\mathbf{Y}=(Y_1,Y_2,\dots ,Y_q{)}^T\in {\mathbb{R}}^q$
为两个随机向量，期望分别为
$\mathbb{E}[\mathbf{X}]={\mathbf{\mu }}_X,\mathbb{E}[\mathbf{Y}]={\mathbf{\mu }}_Y$

---

2. 向量并排成大向量

令
$\mathbf{Z}=\left[\begin{array}{c}\mathbf{X}\\ \mathbf{Y}\end{array}\right]$
它是 $(p+q)$ 维随机向量，其期望为：
$\mathbb{E}[\mathbf{Z}]=\left[\begin{array}{c}{\mathbf{\mu }}_X\\ {\mathbf{\mu }}_Y\end{array}\right]$

---

3. 协方差矩阵定义

随机向量 $\mathbf{Z}$ 的协方差矩阵定义为：
$\mathrm{Cov}(\mathbf{Z})=\mathbb{E}\left[(\mathbf{Z}-\mathbb{E}[\mathbf{Z}])(\mathbf{Z}-\mathbb{E}[\mathbf{Z}]{)}^T\right]$

代入 $\mathbf{Z}$ 的形式：
$\mathbf{Z}-\mathbb{E}[\mathbf{Z}]=\left[\begin{array}{c}\mathbf{X}-{\mathbf{\mu }}_X\\ \mathbf{Y}-{\mathbf{\mu }}_Y\end{array}\right]$
于是：

= \begin{bmatrix} \mathbf{X} - \boldsymbol{\mu}_X \\ \mathbf{Y} - \boldsymbol{\mu}_Y \end{bmatrix} \begin{bmatrix} (\mathbf{X} - \boldsymbol{\mu}_X)^T & (\mathbf{Y} - \boldsymbol{\mu}_Y)^T \end{bmatrix}$$ 做矩阵乘法，得： $$= \begin{bmatrix} (\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{X} - \boldsymbol{\mu}_X)^T & (\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T \\ (\mathbf{Y} - \boldsymbol{\mu}_Y)(\mathbf{X} - \boldsymbol{\mu}_X)^T & (\mathbf{Y} - \boldsymbol{\mu}_Y)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T \end{bmatrix}$$ --- ## **4. 分块协方差矩阵** 取期望后，得到： $$\operatorname{Cov}(\mathbf{Z}) = \begin{bmatrix} \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{X} - \boldsymbol{\mu}_X)^T] & \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T] \\ \mathbb{E}[(\mathbf{Y} - \boldsymbol{\mu}_Y)(\mathbf{X} - \boldsymbol{\mu}_X)^T] & \mathbb{E}[(\mathbf{Y} - \boldsymbol{\mu}_Y)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T] \end{bmatrix}$$ 根据协方差矩阵的定义： - 左上 $p\times p$ 块：$\operatorname{Cov}(\mathbf{X}, \mathbf{X}) = \Sigma_{XX}$ - 右上 $p\times q$ 块：$\operatorname{Cov}(\mathbf{X}, \mathbf{Y}) = \Sigma_{XY}$ - 左下 $q\times p$ 块：$\operatorname{Cov}(\mathbf{Y}, \mathbf{X}) = \Sigma_{YX}$ - 右下 $q\times q$ 块：$\operatorname{Cov}(\mathbf{Y}, \mathbf{Y}) = \Sigma_{YY}$ 其中： $$\Sigma_{XY} = \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T]$$ 注意 $(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T$ 是 $p \times q$ 矩阵，其第 $i,j$ 元素是 $\operatorname{Cov}(X_i, Y_j)$。 --- ## **5. 最终分块矩阵** 所以： $$\operatorname{Cov}\begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix} = \begin{bmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{bmatrix}$$ 其中 $\Sigma_{YX} = \Sigma_{XY}^T$。 --- ## **6. 进一步观察** 如果你只问“X 和 Y 的协方差矩阵”，这个表述有二义性，可能指： 1. **$\operatorname{Cov}(\mathbf{X}, \mathbf{Y})$**（交叉协方差矩阵）： $$\Sigma_{XY} \in \mathbb{R}^{p \times q}, \quad [\Sigma_{XY}]_{ij} = \operatorname{Cov}(X_i, Y_j)$$ 它不是一个方阵（除非 $p=q$），不是对称的，也不是通常意义上的“协方差矩阵”那种半正定方阵，它只是一个交叉协方差矩阵。 2. **$\operatorname{Cov}\begin{pmatrix} \mathbf{X} \\ \mathbf{Y} \end{pmatrix}$**（联合协方差矩阵）： 这是上面推导的 $(p+q) \times (p+q)$ 分块对称半正定矩阵。 --- **最终答案**（根据通常多元统计的定义）： $$\boxed{ \begin{bmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{bmatrix} }$$ 其中 $$\Sigma_{XY} = \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T]$$