Site Unreachable
马氏距离 避免了 单位对举例影响的计算
如果从米换算为毫米 结果可能相反,
与欧氏距离不同的是,它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的),并且是尺度无关的(scale-invariant),即独立于测量尺度。

标注化不改变分布
一、为什么马氏距离(Mahalanobis Distance)与 PCA 有关?
马氏距离是对“带有协方差结构的数据”计算距离的方式。它的核心公式:
这里 是数据的协方差矩阵。
PCA 的本质是:
- 找到变量间协方差矩阵 的特征分解:
- 通过旋转 + 缩放,让变量变成 无相关的主成分(decorrelation),并按方差大小排序。
PCA 完成了把数据变换到一个新坐标系,使得协方差矩阵对角化。
3. 为什么说马氏距离与 PCA 相关?
马氏距离实际上是在“PCA 的变换空间里做欧氏距离”。**
马氏距离可以写成:
其中:
- 是 PCA 的旋转(把数据投影到主成分空间)
- 是按照主成分的方差进行缩放
也就是说:
马氏距离 = 把数据先做 PCA 去相关 → 再按每个轴除以标准差 → 再计算普通欧氏距离。
因此马氏距离与 PCA 的协方差分解结构直接绑定,两者数学上完全一致。
二、为什么说:“轴不是独立同分布的”?
你的坐标轴(变量)如果具有:
- 不同的方差
- 变量之间有相关性
那么它们就不是 “i.i.d.” 的。
1. 变量不是独立的
例如身高与体重:
- 正相关
- 不独立
此时数据云是椭圆形而不是圆形。
2. 变量不是同分布的
例如:
- 身高的方差与体重的方差不同,
- 一个变量可能变化范围很大,另一个很小。
这意味着每个轴的“尺度”不同。
因此:
原始坐标轴往往既不独立也不等方差 → 不满足 IID。
这与 PCA、马氏距离的关系?
- PCA 的作用就是让变量“尽量独立、方差分解”
- 马氏距离的作用是“补偿变量不独立、不同方差造成的误差”
换句话说:
欧氏距离适用于 i.i.d 轴(独立且同方差)
马氏距离适用于 非 i.i.d 轴(相关/不同尺度)
因为欧氏距离假设:
- 坐标轴正交
- 每维方差相同
- 维度之间独立
为什么马氏距离和 PCA 相关?
→ 因为马氏距离的协方差矩阵逆 和 PCA 的特征分解用的是同一套数学结构。
→ 马氏距离就是“把数据 PCA 化后再算欧氏距离”。
为什么说轴不是独立同分布?
→ 因为现实数据的特征通常具有相关性(不独立),且有不同尺度(不同分布)。
→ 如果轴是独立同分布,欧氏距离就足够了,不需要马氏距离。