Site Unreachable
马氏距离 避免了 单位对举例影响的计算
如果从米换算为毫米 结果可能相反,

与欧氏距离不同的是,它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的),并且是尺度无关的(scale-invariant),即独立于测量尺度。


标注化不改变分布

一、为什么马氏距离(Mahalanobis Distance)与 PCA 有关?

马氏距离是对“带有协方差结构的数据”计算距离的方式。它的核心公式:

这里 是数据的协方差矩阵。

PCA 的本质是:

  • 找到变量间协方差矩阵 的特征分解:
  • 通过旋转 + 缩放,让变量变成 无相关的主成分(decorrelation),并按方差大小排序。

PCA 完成了把数据变换到一个新坐标系,使得协方差矩阵对角化。


3. 为什么说马氏距离与 PCA 相关?

马氏距离实际上是在“PCA 的变换空间里做欧氏距离”。**

马氏距离可以写成:

其中:

  • 是 PCA 的旋转(把数据投影到主成分空间)
  • 是按照主成分的方差进行缩放

也就是说:

马氏距离 = 把数据先做 PCA 去相关 → 再按每个轴除以标准差 → 再计算普通欧氏距离。

因此马氏距离与 PCA 的协方差分解结构直接绑定,两者数学上完全一致。


二、为什么说:“轴不是独立同分布的”?

你的坐标轴(变量)如果具有:

  • 不同的方差
  • 变量之间有相关性

那么它们就不是 “i.i.d.” 的。

1. 变量不是独立的

例如身高与体重:

  • 正相关
  • 不独立

此时数据云是椭圆形而不是圆形。

2. 变量不是同分布的

例如:

  • 身高的方差与体重的方差不同,
  • 一个变量可能变化范围很大,另一个很小。

这意味着每个轴的“尺度”不同。

因此:

原始坐标轴往往既不独立也不等方差 → 不满足 IID。


这与 PCA、马氏距离的关系?

  • PCA 的作用就是让变量“尽量独立、方差分解”
  • 马氏距离的作用是“补偿变量不独立、不同方差造成的误差”

换句话说:

欧氏距离适用于 i.i.d 轴(独立且同方差)

马氏距离适用于 非 i.i.d 轴(相关/不同尺度)

因为欧氏距离假设:

  • 坐标轴正交
  • 每维方差相同
  • 维度之间独立

为什么马氏距离和 PCA 相关?
→ 因为马氏距离的协方差矩阵逆 和 PCA 的特征分解用的是同一套数学结构。
→ 马氏距离就是“把数据 PCA 化后再算欧氏距离”。

为什么说轴不是独立同分布?
→ 因为现实数据的特征通常具有相关性(不独立),且有不同尺度(不同分布)。
→ 如果轴是独立同分布,欧氏距离就足够了,不需要马氏距离。