特征值和特征向量是干嘛用的(特征值和特征向量有什么作用)
特征值和特征向量具有良好的性质,是线性代数中的重要概念之一。它们在多元统计分析方法中也有重要的应用。
在数学中,特别是在线性代数中,A是一个n阶矩阵,如果数个和n维非零列向量v,满足Av=v,那么数称为A的特征值,v称为A的对应于特征值的特征向量。
在多元统计中,特征值和特征向量主要在PCA主成分分析和FA因子分析中发挥作用。
主成分分析中
特征向量的正交化确保主成分具有成对独立的属性。单位化使得主成分表达式中线性组合的系数更加简单;主成分的方差等于构成线性组合的特征向量对应的特征值。特征值之和等于原始变量的方差之和,这意味着所有主成分准确地反映了所有原始变量的所有信息。在选择主成分的过程中,特征值通过限制方差贡献程度来控制包含更多信息的主成分。特征向量彼此正交。
特征值之和=矩阵R的迹(主对角线元素之和)=总方差。
特征值的乘积=矩阵的行列式值=广义方差。
因子分析中
特征值和特征向量用于估计因子模型,在对应分析中用于计算因子载荷矩阵。进一步解释特征值/向量的作用,本文假设一个双变量模型。
给定相关系数矩阵R,从中得到2对特征值和特征向量。
特征向量描述了这个椭圆的两条轴的方向。椭圆轴的半长和特征值的平方根是成比例的。所以,在2个变量时,特征值比较大的特征向量对应的就是长轴方向。因为这里只有2个维度,所以是一个平面图形。
在原始坐标系中,每个样本对应一个水平和垂直坐标。现在我们有了特征向量,我们沿着特征向量的方向绘制两个新轴,即围绕椭圆创建新轴。因为轴没有变化,所以每个样本到轴的距离也没有变化。仅水平和垂直坐标发生变化。
由于轴的顺序基于特征值的大小,因此在解释样本变化的方向时,首先排序的轴更为重要。
实例:
如下图所示,特征值之和为2。但是每张图片的特征值和特征向量不同。
左:两个特征值非常接近,因此椭圆的两个轴的长度相似。因此,样品的分散位置接近于圆形。1稍大,所以红轴稍微重要一些,我们可以推测可能存在一些负相关,但它也很小,接近于0,几乎不相关。
中:1对应红轴,负方向。2对应于绿轴,即正方向。12,推断负相关是更常见的趋势,但也存在正相关,因此这描述了中度负相关。
右图:1远大于2。说明红轴所代表的正相关性非常强。沿着绿轴,可以发现样本变异程度很小。因此,推断该样本之间的正相关性仍占主导地位。