Kovariančna matrika

Kovariančna matrika (oznaka $\Sigma \,$ ) (tudi variančno-kovariančna matrika) je matrika, katere elementi so kovariance i-tega in j-tega elementa vektorja slučajne spremenljivke.

Vsebina

1 Definicija
2 Posplošitev variance
3 Lastnosti
4 Glej tudi
5 Zunanje povezave

Definicija [uredi]

Označimo z $\vec X \,$ stolpični vektor

$\vec X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

kjer so $X_n \,$ posamezne komponente slučajne spremenljivke, ki imajo končno varianco.

Kovariančna matrika $\Sigma \,$ , ki ima za elemente kovariance tako, da je

$\Sigma_{ij} = \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix}$

kjer je

$\mu_i = \mathrm{E}(X_i)\,$ pričakovana vrednost za i-to komponento vektorja $X \,$ .
$\mathrm{cov}(X_i, X_j) \,$ kovarianca elementov $X_i \,$ in $X_j \,$ .

Iz tega sledi, da kovariančno matriko lahko zapišemo kot

$\Sigma = \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}.$ .

Obratno matriko kovariančne matrike $\Sigma^{-1} \,$ imenujejo tudi matrika natančnosti.

Kovariančno matriko imenujemo tudi variančno-kovariančna matrika, ker velja

$\Sigma_X=\operatorname{var}(\vec X) = \operatorname{var}\begin{pmatrix} X_1 \\ \vdots\\ X_p \end{pmatrix} = \begin{pmatrix} \operatorname{var}(X_1) & \operatorname{cov}(X_{1}X_{2}) & \cdots & \operatorname{cov}(X_{1}X_{p}) \\ \operatorname{cov}(X_{2}X_{1}) & \ddots & \cdots & \vdots\\ \vdots & \vdots & \ddots & \vdots\\ \operatorname{cov}(X_{P}X_{1}) & \cdots & \cdots& \operatorname{var}(X_p) \end{pmatrix} = \begin{pmatrix} \sigma^2_{x_1} & \sigma_{x_{1}x_{2}} & \cdots & \sigma_{x_{1}x_{p}} \\ \sigma_{x_{2}x_{1}} & \ddots & \cdots & \vdots\\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{x_{p}x_{1}} & \cdots & \cdots& \sigma^2_{x_p} \end{pmatrix}$

kjer je

$\operatorname{var}(\vec X) \,$ varianca vektorja $\vec X \,$
$\operatorname{cov} \,$ kovarianca komponent $X_i \,$ in $X_j \,$
$\sigma_n \,$ varianca n-te komponente vektorja (na glavni diagonali so same variance, izven diagonale pa so kovariance). Zaradi tega ima matrika tudi ime variančno-kovariančna matrika.

Posplošitev variance [uredi]

Zgornja definicija je enakovredna zapisu

$\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$ .

Ta zapis lahko smatramo za posplošitev skalarne oblike variance na višje razsežnosti. Pri tem velja za slučajno spremenljivko s skalarnimi vrednostmi

$\sigma^2 = \mathrm{var}(X) = \mathrm{E}[(X-\mu)^2], \,$

kjer je

$\mu = \mathrm{E}(X).\,$

Lastnosti [uredi]

Za kovariančno matriko $\Sigma \,$

$\Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top}$
$\Sigma \,$ je pozitivno semidefinitna matrika (to pomeni, da je simetrična).
$\operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top}$
$\operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top$
$\operatorname{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \operatorname{cov}(\mathbf{X}_1,\mathbf{Y}) + \operatorname{cov}(\mathbf{X}_2, \mathbf{Y})$
kadar velja p = q, potem je $\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})$
$\operatorname{cov}(\mathbf{AX}, \mathbf{B}^\top\mathbf{Y}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B}$
kadar sta $\mathbf{X}$ in $\mathbf{Y}$ neodvisna, velja tudi $\operatorname{cov}(\mathbf{X} \mathbf{Y}) = 0 \,$ .