谁知道“协方差矩阵”？

在统计学 与 概率论中, 协方差矩阵 是一个矩阵，其每个元素是各个向量元素之间的方差。这是从标量随机变量到高维度随机向量的自然推广。

在统计学 与 概率论中, 协方差矩阵 是一个矩阵，其每个元素是各个向量元素之间的方差。这是从标量随机变量到高维度随机向量的自然推广。假设 X 是以 n 个标量随机变量组成的列向量，并且<math>mu_k</math> 是其第k个元素的期望值, 即, <math>mu_k = mathrm{E}(X_k)</math>, 协方差矩阵然后被定义为:

<math>
Sigma=mathrm{E} left[

left( extbf{X} - mathrm{E}[ extbf{X}] ight) left( extbf{X} - mathrm{E}[ extbf{X}] ight)^ op
ight] </math>

<math>
= egin{bmatrix}

mathrm{E}[(X_1 - mu_1)(X_1 - mu_1)] & mathrm{E}[(X_1 - mu_1)(X_2 - mu_2)] & cdots & mathrm{E}[(X_1 - mu_1)(X_n - mu_n)] \ \ mathrm{E}[(X_2 - mu_2)(X_1 - mu_1)] & mathrm{E}[(X_2 - mu_2)(X_2 - mu_2)] & cdots & mathrm{E}[(X_2 - mu_2)(X_n - mu_n)] \ \ vdots & vdots & ddots & vdots \ \ mathrm{E}[(X_n - mu_n)(X_1 - mu_1)] & mathrm{E}[(X_n - mu_n)(X_2 - mu_2)] & cdots & mathrm{E}[(X_n - mu_n)(X_n - mu_n)]
end{bmatrix} </math>

矩阵中的第<math>(i,j)</math>个元素是<math>X_i</math>与<math>X_j</math>的协方差. 这个概念是对于标量随机变量方差的一般化推广。

[编辑]术语与符号分歧
协方差矩阵有不同的术语。有些统计学家，沿用了概率学家威廉·费勒的说法，把这个矩阵称之为随机向量<math>X</math>的方差（Variance of random vector X），这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为协方差矩阵（Covariance matrix），因为它是随机向量里头每个标量元素的协方差的矩阵。不幸的是，这两种术语带来了一定程度上的冲突：

标准记号:

<math>
operatorname{var}( extbf{X}) = mathrm{E} left[

( extbf{X} - mathrm{E} [ extbf{X}]) ( extbf{X} - mathrm{E} [ extbf{X}])^ op
ight] </math>

另 标准记号(与上边的记号不幸冲突):

<math>
operatorname{cov}( extbf{X}) = mathrm{E} left[

( extbf{X} - mathrm{E}[ extbf{X}]) ( extbf{X} - mathrm{E}[ extbf{X}])^ op
ight] </math>

又 标准记号:

<math>
operatorname{cov}( extbf{X}, extbf{Y}) = mathrm{E} left[

( extbf{X} - mathrm{E}[ extbf{X}]) ( extbf{Y} - mathrm{E}[ extbf{Y}])^ op
ight] </math> (两个随机向量的"互协方差(cross covariance)")

头两个术语彼此冲突，第一个与第三个彼此切合。第一个记号可以在威廉·费勒的广受推崇的两本概率书中找到。

[编辑]性质
<math>Sigma=mathrm{E} left[ left( extbf{X} - mathrm{E}[ extbf{X}] ight) left( extbf{X} - mathrm{E}[ extbf{X}] ight)^ op ight]</math> 与<math> mu = mathrm{E}( extbf{X})</math> 满足下边的基本性质：

<math> Sigma = mathrm{E}(mathbf{X X^ op}) - mathbf{mu}mathbf{mu^ op} </math>
<math> operatorname{var}(mathbf{a^ op}mathbf{X}) = mathbf{a^ op} operatorname{var}(mathbf{X}) mathbf{a} </math>
<math> mathbf{Sigma} geq 0 </math>
<math> operatorname{var}(mathbf{A X} + mathbf{a}) = mathbf{A} operatorname{var}(mathbf{X}) mathbf{A^ op} </math>
<math> operatorname{cov}(mathbf{X},mathbf{Y}) = operatorname{cov}(mathbf{Y},mathbf{X})^ op</math>
<math> operatorname{cov}(mathbf{X_1} + mathbf{X_2},mathbf{Y}) = operatorname{cov}(mathbf{X_1},mathbf{Y}) + operatorname{cov}(mathbf{X_2}, mathbf{Y})</math>
若 <math>p = q</math>，则有<math>operatorname{cov}(mathbf{X} + mathbf{Y}) = operatorname{var}(mathbf{X}) + operatorname{cov}(mathbf{X},mathbf{Y}) + operatorname{cov}(mathbf{Y}, mathbf{X}) + operatorname{var}(mathbf{Y})</math>
<math>operatorname{cov}(mathbf{AX}, mathbf{BX}) = mathbf{A} operatorname{cov}(mathbf{X}, mathbf{X}) mathbf{B}^ op</math>
若<math>mathbf{X}</math> 与<math>mathbf{Y}</math> 是独立的，则有<math>operatorname{cov}(mathbf{X}, mathbf{Y}) = 0</math>
<math> Sigma = Sigma^ op </math>

其中 <math>mathbf{X}, mathbf{X_1}</math> 与<math>mathbf{X_2}</math> 是随机<math>mathbf{(p imes 1)}</math>向量, <math>mathbf{Y}</math> 是随机<math>mathbf{(q imes 1)}</math>向量, <math>mathbf{a}</math> 是<math>mathbf{(p imes 1)}</math> 向量, <math>mathbf{A}</math> 与<math>mathbf{B}</math> 是<math>mathbf{(p imes q)}</math> 矩阵。

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

[编辑]复随机向量
均值为<math>mu</math>的复随机标量变量的方差定义如下（使用共轭复数）：

<math>
operatorname{var}(z) = operatorname{E} left[

(z-mu)(z-mu)^{*}
ight] </math>

其中复数<math>z</math>的共轭记为<math>z^{*}</math>.

如果<math>Z</math> 是一个复列向量,则取其共轭转置，得到一个方阵:

<math>
operatorname{E} left[

(Z-mu)(Z-mu)^{*}
ight] </math>

其中<math>Z^{*}</math>为共轭转置, 它对于标量也成立，因为标量的转置还是标量.

[编辑]估计
多元正态分布的协方差矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做<math>1 imes 1</math>矩阵的trace更好的原因. 参见协方差矩阵的估计.

[编辑]外部连接
Covariance Matrix at Mathworldde:Kovarianzmatrix
en:Covariance matrix fr:Matrice de variance-covariance pl:Macierz kowariancji ru:Ковариационная матрица

http://define.cnki.net/define_result.aspx?searchword=%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5