1. 皮尔逊相关系数
1.1 定义
度量两组随机变量x\bold{x}x和y\bold{y}y样本之间的线性相关程度和方向的一个指标，记为r(x,y)r(\bold{x},\bold{y})r(x,y)，该值的范围[-1,1]。
- r>0r>0r>0:x,y\bold{x},\bold{y}x,y线性正相关，越大，线性正相关程度越大，r=1r=1r=1,完全线性正相关
- r<0r<0r<0:x,y\bold{x},\bold{y}x,y线性负相关，绝对值越大，线性负相关程度越大，r=−1r=-1r=−1,完全线性负相关
- r=0r=0r=0:x,y\bold{x},\bold{y}x,y不存在线性相关性
1.2 计算
r(x,y)=Conv(x,y)σ(x)σ(y)=∑i=1n(xi−x‾)(yi−y‾)∑i=1n(xi−x‾)2∑i=1n(yi−y‾)2r(x,y)=\frac{Conv(x,y)}{\sigma(x)\sigma(y)}=\frac{\sum_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\overline{x})^2} \sqrt{\sum_{i=1}^{n}(y_i-\overline{y})^2}}r(x,y)=σ(x)σ(y)Conv(x,y)=∑i=1n(xi−x)2∑i=1n(yi−y)2∑i=1n(xi−x)(yi−y)
1.3 成立条件
- x,y都是连续变量
- x,y有近似线性相关性
- 样本中不存在太多异常值
- 如果要做显著性检验，小样本下，x,y需大致呈正态分布，这时推断才比较可靠
1.4 python实现
scipy最常用。scipy.stats.pearsonr函数
2. 用途
假设我们有两组特征X和Y, 我不确定它们是否线性正相关，如果确定了二者高度线性正相关，我只需要在其中选择一个特征，作为下游任务即可，如何确定？使用pearson相关系数评估。
