回归 主成分回归

将原来的自变量经过线性组合后变为新的变量
对角阵上的元素实际上也就对应了每一个样本的方差

1. 如何建立回归方程
   1. 判断相关性以选择使用哪些变量进行回归
   2. 判断回归方的多重共线性。如果有，则使用主成分回归
   3. 主成分分析
      1. 最小二乘
         解决的问题
         第一个是在预测变量数量过多的数据集上执行的。它已成为减少维度和偏最小二乘回归的一种方法。另外， PCR的第二个目标是消除变量之间的共线性。由于每个随后的主要成分都是正交的，因此已使用PCR来防止因回归中假设的独立变量之间的依赖性而引起的错误（Hadi和Ling（1998））
         PCR的优势：

因为PC，W1，…，Wm是正交的，多重共线性问题完全消失了，无论实际使用多少个PC，回归方程将始终包含X中的所有变量因为每个PC是X中变量的线性组合。由Z’Z的特征向量形成）。
由于使用了正交PC，PCR可能会提高回归估计的数值准确性。

因此，可以将主成分回归概述如下：

1. 完成X矩阵的主成分分析并将主成分保存在Z中。
2. 将Y的回归拟合到Z，以获得A的最小二乘估计。
3. 将A的最后一个元素设置为零。
4. 使用B = PA变换回原始系数。
5. 获得Y和自变量的预测公式
   总结：获取主成分作为自变量进行回归，得到回归的参数，然后变换回自变量

主成分回归的示例
主成分回归的过程

1. 以主成分为自变量进行的回归分析。适用于样本比变量少