生物学 (O)PLS-DA答疑

Q1 :OPLS-DA（Orthogonal Partial Least Squares Discriminant Analysis）中正交成分的求解过程，具体是如何从 $X$ 和 $w$ 得到正交成分 $T_O$ 的。

---

OPLS-DA中正交成分的背景

• OPLS-DA是在PLS-DA基础上引入正交信号校正的思想，把 $X$ 矩阵分解成两部分：

  • 与响应 $Y$ 相关的预测成分（predictive components）
  • 与 $Y$ 无关的正交成分（orthogonal components）

目的是把与响应无关的变异剥离，提高模型的解释性和预测能力。

具体正交成分的求解流程

1. 先求预测成分
   和PLS一样，先求预测成分权重向量 $w$，计算得预测得分向量：

   $$t=Xw$$

2. 计算预测负荷
   计算对应的负荷向量 $p$，即：

   $$p=\frac{X^{T}t}{t^{T}t}$$

3. 剔除预测成分贡献
   从 $X$ 中去掉预测成分部分：

   $$E=X-t{p}^T$$

   这个残差矩阵 $E$ 包含与 $Y$ 正交的成分。

4. 提取正交成分
   目标是从 $E$ 中提取与 $Y$ 无关的正交成分。其本质是找到：

   • 一个得分向量 $t_o$，满足与 $t$ （预测成分得分）正交： $t_o^{T}t=0$
   • 使得 $t_o$ 能最大化 $E$ 的变异

   通常做法是用**偏最小二乘回归（PLS）或主成分分析（PCA）**在 $E$ 上提取第一主成分作为正交成分得分 $t_o$。

5. 正交负荷和权重
   类似计算正交负荷 $p_o$ 和正交权重 $w_o$：

   $$p_o=\frac{E^T{t}_o}{t_o^T{t}_o}$$

   $w_o$ 也通过类似投影或正交化过程得到。

6. 迭代剔除
   用正交成分剔除 $X$ 中正交部分：

   $$E=E-t_o{p}_o^T$$

   这样一步步提取多个正交成分，直到 $E$ 中不再有与 $Y$ 无关的结构。

---

简单来说：

• 先用 $w$ 从 $X$ 得到预测得分 $t$
• 用残差矩阵 $E=X-t{p}^T$ 提取正交成分
• 正交成分通过对 $E$ 做PCA或类似方法，得到与 $t$ 正交的 $t_o$
• 正交成分 $T_O$ 就是这些 $t_o$ 向量的集合

---

总结

OPLS-DA中正交成分的求解：
先通过权重向量 $w$ 得到预测成分 $t$，再计算负荷 $p$ 并剔除预测成分贡献，得到残差矩阵 $E$，然后从 $E$ 中提取与预测成分正交的正交得分 $t_o$，这通常用PCA或正交化方法实现，进而得到正交成分矩阵 $T_O$。

如果你需要数学细节或代码实现，可以告诉我，我可以帮你详细讲解。你现在的理解是先 $Xw\to t$，然后“分解”得到 $T_O$，没错，分解其实是对剔除预测成分后的残差矩阵做正交成分提取。

1. $XW$

   • 这里，$W$ 是权重矩阵（每一列是一个基向量），
   • $XW$ 就是把原始数据 $X$ 投影到权重向量空间（潜变量空间），得到得分矩阵 $T$（样本在潜变量上的坐标）。

2. $T{P}^T=XW{P}^T$

   • 其中，$P$ 是载荷矩阵，表示潜变量空间中的基向量映射回原始变量空间的方向，
   • $T{P}^T$ 就是把潜变量空间的坐标再映射回原始空间的近似重构。

---

类比理解：

• $W$ 就像正交基，
• $XW$ 是把数据投影到这个基上，得到新的坐标（得分），
• $P^T$ 是从这些坐标“反投影”回原始空间的方向，
• 所以 $XW{P}^T$ 是在潜变量基上表示的 $X$ 的重构。

---

为什么用 $P$ 反投影而不是直接用 $W$？

• $W$ 是求得分用的权重，不一定是正交的。

• $P$ 是载荷，通常是用来反映变量贡献和正交的（或者经过正交化处理），能更准确地重构数据。

• $XW$：原始数据投影到潜变量空间（坐标系转换）

• $XW{P}^T$：潜变量坐标映射回原始变量空间，恢复数据的近似表达

• 剔除预测成分就是用 $X-XW{P}^T$ 获得残差，去掉与目标变量相关的部分

1. 第二预测成分是怎么来的？

• 不是简单地减去第一个预测成分的值。

• 在PLS和OPLS中，第二个预测成分是在去除第一个预测成分对 $X$ 和 $Y$ 的贡献后，从残差矩阵 $E_1$ 中重新计算得到的。

具体流程是：

• 先计算第一个预测成分 $t_1=X{w}_1$，预测负荷 $p_1$，并剔除该成分贡献，得到残差矩阵：

  $$E_1=X-t_1{p}_1^T$$

• 在这个残差矩阵 $E_1$ 上，针对 $Y$ 再计算第二个预测成分：

  $$t_2=E_1{w}_2$$

• 也就是说，第二预测成分是基于去除了第一个预测成分的残差矩阵重新计算的，不是直接取初始 $XW$ 中的第二列。

---

2. 关于SVD分解的 $W$ 矩阵第二列

• SVD的 $W$ 矩阵列向量确实可以被看作候选权重向量，但是PLS/OPLS中权重向量的计算是依赖于回归和协方差最大化的迭代过程，不是直接用一次SVD得到的。

• 简言之，权重矩阵 $W$ 中的每一列是针对每个预测成分迭代得到的权重，不是简单的SVD的列向量。

---

3. 正交成分和预测成分的关系

• 正交成分是基于剔除预测成分贡献后的残差矩阵提取的。

• 当你有多个预测成分 $t_1,t_2,\dots$，

他们分别对应的残差矩阵不同：

$$E_0=X\text{(原始矩阵)}$$ $$E_1=E_0-t_1{p}_1^T$$ $$E_2=E_1-t_2{p}_2^T$$

…

• 正交成分是从每一步残差矩阵中提取的，与对应预测成分相关联的正交结构不一定完全对应。

• 但通常情况下，正交成分是对所有预测成分剔除后的残差进行分解，提取整体正交结构。

---

4. 你的理解：

“本身 $t_1$ 可以分解出若干个正交主成分，$t_2$ 也可以分解出若干个正交主成分”

这个理解上有点偏差。

• $t_1$ 和 $t_2$ 是预测成分，它们本身不再分解正交成分。

• 正交成分是基于剔除所有预测成分后的残差矩阵，提取与所有预测成分正交的成分。

• 换句话说，正交成分是在整体残差中提取的，不是针对单个预测成分。

---

总结

过程步骤	说明
计算第一个预测成分 $t_1$	由原始矩阵 $X$ 计算
去除 $t_1$ 重构，得到残差矩阵 $E_1$
计算第二预测成分 $t_2$	在残差矩阵 $E_1$ 上计算
去除 $t_2$ 重构，得到残差矩阵 $E_2$
从 $E_2$ 中提取正交成分	正交成分是整体残差结构，与预测成分正交

---

如果你需要，我可以帮你画流程图或者写个简化伪代码示范这个过程，你觉得呢？

你这问题非常关键，牵涉到PLS-DA和OPLS-DA两种建模理念的本质差异，和它们各自适用场景的优劣。咱们深入聊聊：

---

1. 为什么第一个预测成分捕获了X和Y最相关的方向后，第二个预测成分在OPLS-DA就被认为不相关？

• OPLS-DA的核心是在每次提取一个预测成分后，剔除与该成分相关的部分，剩余部分中提取正交成分，这些正交成分与当前预测成分正交。

• 对于多个预测成分，OPLS-DA也可以继续提取多个预测成分（$t_1,t_2,...$），但每次提取预测成分后都剔除相关部分，剩余再提正交成分。

• **但在实际实现中，很多OPLS-DA模型为了简化，通常只保留一个预测成分，剩余都归为正交成分。**这是出于模型解释性的考虑。

---

2. PLS-DA是怎么对待多个预测成分的？

• PLS-DA直接逐步提取多个预测成分，每个成分都最大化当前残差中与Y的协方差，没有区分“正交”成分。

• 所以它允许多个成分与Y相关，模型灵活性更大。

---

3. OPLS-DA假设是否太强烈？

• 是的，严格的正交假设是OPLS-DA的一个建模假设，这在某些数据和问题上可能会过于理想化。

• 它假设可以清晰地分离出“完全不相关”的成分，现实中可能存在微弱或者非线性相关，或成分间相关性不容易完全正交。

• 因此，在数据关系复杂且多变量间高度相关时，OPLS-DA的假设可能限制了模型的灵活性。

---

4. 什么时候PLS-DA表现优于OPLS-DA？

情况	PLS-DA优势	OPLS-DA劣势
变量间高度相关且多预测成分均重要	PLS-DA能提取多个与Y相关成分，灵活建模	OPLS-DA强制正交假设可能忽略弱相关但重要的预测成分
$X$中的变异与$Y$的关系复杂（非线性等）	PLS-DA多成分拟合更适合复杂结构	OPLS-DA分解方式可能过于简化，无法捕捉复杂关联
样本量较大、变量丰富	PLS-DA通过多个成分累积解释更多信息	OPLS-DA可能剥离部分信息导致解释能力下降
需要简单模型解释和突出相关结构	—	OPLS-DA在解释性和降维上表现更好，模型结构清晰

---

5. 什么时候OPLS-DA更合适？

• 当主要目标是区分相关与无关变异，提高模型可解释性时，尤其是在复杂生物数据或代谢组学中。

• 当你怀疑存在大量与响应无关的系统性噪声时，OPLS-DA能更好地剥离这部分信息。

---

6. 总结

方法	对预测成分的假设	优势	劣势
PLS-DA	多个预测成分均与Y相关，依次提取	灵活，捕捉复杂多元关系	解释性较差，噪声混入模型
OPLS-DA	只有少数预测成分与Y相关，其余为正交无关成分	解释性强，剥离噪声，模型更简洁	假设较强，可能忽略部分微弱相关信号

---

如果你想，我可以帮你列个更详细的案例比较，或者针对你具体数据帮你分析哪种模型更适合，你觉得呢？

1. 实际案例对比
   场景 1：代谢组学（二分类）
   OPLS-DA 更优：

数据特点：疾病组 vs 健康组的代谢物差异集中（如葡萄糖升高、脂质降低），其余为技术噪声。

结果：单一预测成分清晰区分两组，正交成分去除批次效应。

场景 2：多组学整合（多分类）
PLS-DA 更优：

数据特点：乳腺癌四种亚型，每种亚型对应不同的基因、代谢、蛋白模式。

结果：多个成分分别捕获亚型特征，OPLS-DA 会丢失信息。

你问的这个问题很实用，特别是在实际分析中用得分图（score plots）解读模型结果时，理解PLS-DA和OPLS-DA中得分的含义和差异很重要。下面我帮你理清两者的得分图区别和解释：

---

1. PLS-DA中 $t_1,t_2$ 的得分图

• $t_1$ 和 $t_2$ 都是预测成分得分（predictive scores），是直接从 $X$ 中提取的潜变量，最大化与 $Y$ 的协方差。

• 这两个成分共同描述了 $X$ 中与 $Y$ 最相关的两个方向。

• 得分图（如 $t_1$ vs $t_2$）反映的是样本在预测成分空间的分布，主要用于区分样本类别或群体。

• 解释上：
  两个维度都表示“与 $Y$ 相关”的信息，越远离的样本，说明在这两个主要相关方向上差异越大。

---

2. OPLS-DA中 $t_1,t_2,t_{o2}$ 的得分图

• $t_1$：第一个预测成分得分，表示 $X$ 中与 $Y$ 相关的主方向。

• $t_2$：如果存在，可能是第二个预测成分（少数情况下保留多个预测成分）。

• $t_{o2}$：第二个正交成分得分，表示 $X$ 中与 $Y$ 无关，但有系统变异的方向。

• 常见的得分图：

  • 预测成分得分图（如 $t_1$ vs $t_2$）：主要看与 $Y$ 相关的结构。
  • 正交成分得分图（如 $t_{o1}$ vs $t_{o2}$）：显示与 $Y$ 无关的系统性变异。

---

3. 得分图解释的差异

得分类型	PLS-DA	OPLS-DA
$t_1,t_2$	预测成分，均与 $Y$ 相关，显示主要区分方向	预测成分，主要用于区分类别
$t_o$ 正交成分	无明确正交成分，所有成分都参与解释	与 $Y$ 无关的变异方向，揭示潜在的非分类差异
得分图用途	显示样本分类分布，发现分组趋势	预测得分图用来分类，正交得分图用来理解数据内部结构和批次效应等非目标差异

---

4. 实际应用中怎么看这些图？

• PLS-DA得分图：如果两个类在 $t_1,t_2$ 空间能明显分开，说明模型捕捉到有效区分信息。

• OPLS-DA预测成分得分图：更清晰区分类间差异，因为剥除了无关变异。

• OPLS-DA正交成分得分图：可以发现数据中不影响分类的变异，比如仪器批次、样本处理差异等，这些在PLS-DA中常被混入预测成分里。

---

• PLS-DA得分图是“把所有信息放在一起看”，区分信号和噪声混合的样子。

• OPLS-DA把“信号”和“噪声”分开，预测得分图只看信号，正交得分图看噪声。

好——下面我把 第二个预测成分 $t_2$ （PLS/PLS-DA 的情形）和 第一个正交成分 $t_{o1}$（OPLS-DA 的情形） 的计算流程与数学直观做一个并列、逐步、清晰的对比，并给出常用的可实现伪代码／公式。这样你能看出它们在目标、约束、计算步骤上的根本不同。

• $X$ ：$n\times p$ 的自变量矩阵（已中心化）
• $y$ ：$n\times 1$ 的响应向量（PLS-DA情形）
• $w$ ：权重向量（weights）
• $t$ ：得分向量（scores）
• $p$ ：载荷向量（loadings）
• 下标：p 表示 predictive（预测），o 表示 orthogonal（正交）
• 所有向量在必要时要归一化（例如 $\Vert w\Vert =1$ 或者 $t^{T}t=1$），我在步骤里会说明何处归一化。

---

一、PLS-DA 提取第二个预测成分 $t_2$（典型 NIPALS 风格）

目标： 在剔除第一个预测成分后，从残差矩阵中再找一个 与 $y$ 最大协方差 的方向。

步骤：

1. 已提取第一个预测成分：
   $w_1,t_1=X{w}_1,p_1=\frac{X^T{t}_1}{t_1^T{t}_1}$。
   典型地也会计算 $c_1=\frac{y^T{t}_1}{t_1^T{t}_1}$。

2. 对 $X$ 做一次预测性去除（deflate）：

   $$E_1=X-t_1{p}_1^T(\text{仅去掉第1个预测成分对 }X\text{ 的贡献})$$

3. 在残差 $E_1$ 上针对 $y$ 寻找第二个预测权重 $w_2$：
   一个常用（近似）公式是让 $w_2$ 与 $E_1^{T}y$ 成比例（即最大化协方差的方向）：

   $$w_2\propto E_1^{T}y,\text{并归一化 }{w}_2\leftarrow w_2/\Vert w_2\Vert$$

4. 得到第二个预测得分：

   $$t_2=E_1{w}_2$$

5. 计算对应载荷并再去除（若需要继续提取更多预测成分）：

   $$p_2=\frac{E_1^T{t}_2}{t_2^T{t}_2},E_2=E_1-t_2{p}_2^T$$

要点（直观）：

• $t_2$ 是从去掉第一个预测成分后剩下的数据中寻找仍然与 $y$ 有协方差的第二方向。
• 在 PLS-DA 中，多个 $t_i$ 都是“有可能与 $y$ 相关”的预测成分，每一步都直接以 $y$ 指导权重计算（例如用 $X^{T}y$ 风格的方向）。

---

二、OPLS-DA 提取第一个正交成分 $t_{o1}$

目标： 从 $X$ 中去掉预测成分 $t_{p1}$ 的贡献后，找出 与该预测方向正交、但在 $X$ 中有系统性方差的方向 —— 换言之，找 $X$ 中与 $y$ 无关的主结构。

常见实现（Trygg & Wold 的形式）是把 $X^T{t}_p$ 在与预测权重/载荷相关的子空间上投影掉，再取剩余方向的主方向作为正交权重。

步骤（常用实现的一套公式）：

1. 已有预测成分（和PLS相同）：

   $$w_p=X^{T}y,w_p\leftarrow w_p/\Vert w_p\Vert ;t_p=X{w}_p;p_p=\frac{X^T{t}_p}{t_p^T{t}_p}.$$

2. 计算一个“预投影向量” $u=X^T{t}_p$。这个向量表示把 $X$ 投影到 $t_p$ 的方向后再回到变量空间的协方差信息。

3. 将 $u$ 在与预测方向相关的子空间上正交化（投影掉与预测相关部分），得到 orthogonal weight 的未归一化版本：

   $$w_o^{\text{*}}=(I-\frac{w_p{p}_p^T}{p_p^T{w}_p})u$$

   这里 $\frac{w_p{p}_p^T}{p_p^T{w}_p}$ 是将变量空间沿 $w_p{p}_p^T$ 的方向投影出去（投影算子的一种形式），从而保证 $w_o^{\text{*}}$ 与预测方向在权重-载荷意义上“正交”。

4. 归一化得到正交权重：

   $$w_o=\frac{w_o^{\text{*}}}{\Vert w_o^{\text{*}}\Vert }$$

5. 得到正交得分（正交成分）：

   $$t_{o1}=X{w}_o$$

6. 计算正交载荷并去掉该正交成分对 $X$ 的贡献（如果要继续提取更多正交成分）：

   $$p_{o1}=\frac{X^T{t}_{o1}}{t_{o1}^T{t}_{o1}},X\leftarrow X-t_p{p}_p^T-t_{o1}{p}_{o1}^T$$

要点（直观）：

• $t_{o1}$ 是从 原始 $X$（或从在提取预测成分后仍保留的 $X$）中提取的，但有明确的正交约束：它与预测方向在内积/投影意义上为 0（与 $t_p$ 正交）；因此理论上不含对 $y$ 的线性信息。
• OPLS 在提取正交分量时并不是“随便取主成分”，而是先把与预测方向相关的变量贡献投影掉，再在剩下的方向上取主方向。

---

三、并列比较（关键差异）

项目	PLS-DA 的 $t_2$	OPLS-DA 的 $t_{o1}$
目标	找出 仍然与 $y$ 相关 的下一个方向（最大化与 $y$ 的协方差）	找出 与已提取预测方向正交 且在 $X$ 中方差较大的方向（与 $y$ 理论上无关）
计算基础	在 $E_1=X-t_1{p}_1^T$（去掉预测1后的残差）上用 $E_1^{T}y$ 指导求 $w_2$	先用 $u=X^T{t}_p$，再把 $u$ 在预测子空间上投影掉： $w_o^{\text{*}}=(I-\frac{w_p{p}_p^T}{p_p^T{w}_p})u$
约束	无“正交于预测方向”的约束；目标是与 $y$ 高相关	明确正交约束（使其与预测方向不相关）
对 $y$ 的相关性	预期有显著相关性	预期没有线性相关性（若存在，说明模型或数值实现的问题）
数学直观	以 $y$ 为导向逐步提取信息	以把“可预测信息”与“不可预测的系统变异”分离为目的

• $t_2$（PLS）是在剔除第一个预测成分后，继续在残差上以 $y$ 为导向找的“第二个与 $y$ 相关”的方向；
• $t_{o1}$（OPLS）是在剔除预测成分贡献后，在 $X$ 中找的与预测方向正交、且与 $y$ 理论无关的系统性变异方向。两者的目标和约束完全不同，因此计算方式也不同。

不是的，PLS-DA 里的 $R_Y^2$ 不是通过 7 折交叉验证的 PRESS（预测残差平方和）算出来的平均值，它和 Q² 是两回事。

我给你拆一下：

---

1. $R_Y^2$ 的定义（PLS-DA）

公式

$$R_Y^2=1-\frac{{\text{SS}}_{\text{res},Y}}{{\text{SS}}_{\text{tot},Y}}$$

其中：

• ${\text{SS}}_{\text{res},Y}={\sum }_i(y_i-{\hat{y}}_i{)}^2$ —— 用训练集拟合值（in-sample）计算
• ${\text{SS}}_{\text{tot},Y}={\sum }_i(y_i-\bar{y}{)}^2$

这里的 ${\hat{y}}_i$ 是用模型在全部训练数据上拟合得到的预测值，不做交叉验证。
因此 $R_Y^2$ 是一种拟合优度（goodness-of-fit），衡量模型解释了多少 $Y$ 的方差。

---

2. Q² 和 PRESS 的关系

• Q² 是模型预测能力的指标，它才用到交叉验证（7 折、LOO 等）。
• Q² 的公式：

$$Q^2=1-\frac{\text{PRESS}}{{\text{SS}}_{\text{tot},Y}}$$

• 其中 PRESS（predictive residual sum of squares）是在交叉验证中，每次留出一部分样本、用剩下的样本训练模型再去预测留出的样本，然后计算残差平方和，并在所有折次上累加。

如果用 7 折法：

• 把样本分成 7 组
• 每次用 6 组建模预测第 7 组
• 所有预测残差平方和累加 = PRESS
• 最终 Q² 是一个值（也可以在多次重复 7 折后取平均）

---

3. 关键区别

指标	数据集	PRESS 是否参与	是否交叉验证	作用
$R_Y^2$	全部训练数据	否	否	拟合优度
Q²	交叉验证预测的留出数据	是	是	预测能力

---

✅ 所以你的问题答案是：

PLS-DA 中的 $R_Y^2$ 是用全数据拟合得到的解释方差比例，不用 7 折法，也不依赖 PRESS；
7 折交叉验证 + PRESS 是用来计算 Q² 的。

---

如果你需要的话，我可以画一个小示意图，把 R²_Y vs Q² 在 PLS-DA 里的计算路径画出来，会很直观。你要我画吗？

好问题 👍。你卡在 PCA 的 得分矩阵（scores） 和 投影回原空间（reconstruction） 之间的关系上了。我们来慢慢拆开。

---

1️⃣ PCA 的基本符号

• 数据矩阵（中心化后）：

  $$X\in {\mathbb{R}}^{n\times p},n=\text{样本数},p=\text{特征数}$$

• 特征向量矩阵：

  $$V=[v_1,v_2,\dots ,v_p]\in {\mathbb{R}}^{p\times p},V^{\top }V=I$$

• 得分矩阵（投影到主成分方向）：

  $$T=X{V}_k\in {\mathbb{R}}^{n\times k},(k\le p)$$

---

2️⃣ 投影到主成分空间

每个样本 $x_i$ 在新坐标系下的表示就是：

$$t_i=x_i{V}_k$$

这一步叫 投影：把原始数据从 $p$-维空间投影到 $k$-维主成分子空间。

---

3️⃣ 从得分回到原空间

如果你要把数据“投影回原空间”，做的是：

$$\hat{X}=T{V}_k^{\top }=(X{V}_k)V_k^{\top }$$

为什么这样能回到原空间？

• $T=X{V}_k$ 是新坐标系下的坐标（低维表示）。

• 乘以 $V_k^{\top }$ 就是从新基底转换回原基底：

  • $V_k$ 是正交基
  • $V_k^{\top }$ 就是它的逆（因为 $V_k^{\top }{V}_k=I$）

---

4️⃣ 什么时候能完全恢复？

• 如果 $k=p$（用全部主成分），那么：

  $$\hat{X}=(XV)(V^{\top })=X(V{V}^{\top })=XI=X$$

  ✅ 可以完全恢复。

• 如果 $k<p$（只用前 k 个主成分），那么：

  $$\hat{X}=X{V}_k{V}_k^{\top }$$

  这里 $V_k{V}_k^{\top }$ 是一个 投影矩阵，它把数据投影到前 k 个主成分张成的子空间。

  • 因此只能恢复一个近似值（低维重建）。

---

5️⃣ 总结

• $X{V}_k$ = 得分（新坐标下的表示，降维结果）

• $T{V}_k^{\top }$ = 从主成分空间投影回原空间

• 本质上：

  • 乘 $V_k$ = 投影到新基底
  • 乘 $V_k^{\top }$ = 从新基底回到原空间

• 如果用全部主成分，可以完全恢复；

• 如果只取部分主成分，就只能得到原数据的最佳低维近似（在最小二乘意义下）。

---

要不要我帮你画一张二维例子的小图？展示数据点如何先投影到一条主成分直线上（得分），再乘 $V^{\top }$ 投影回二维空间（重建近似）？