Linearna regresija

Regresija meri odvisnost dveh slučajnih spremenljivk - kakšen vpliv ima ena na dugo.

Na populaciji merimo 2 podatka, zanima nas vrsta odvisnosti med slučajnima spremenljivkama.

Razsevni grafikoni

1. in 2. : linearna regresija

Iščemo krivuljo ki bi se podatkom najboljše prilegala. Če je linearna regresija iščemo premico.

y = k*x+n

Glede na to kako bi krivulja »morala izgledati« začnemo graditi krivuljo ki se bo najbolje prilegala.

Primer

• Dnevna količina padavin in število gledalcev na nogometni tekmi.
• Starost in cena avtomobila.
• Število pokajenih cigaret in življenjska doba.

Linearna regresija

1. regresijsko premica

$\! Y' = a \cdot X + b = E(Y) + \frac{K(X,Y)}{D(X)} (X - E(X))$

Parametra a in b izberemo po metodi najmanjših kvadratov tako, da minimiziramo (pogledamo za vsako meritev koliko daleč navpično (y) leži od premice, vsota kvadratov vseh meritev mora biti čimmanjša).

$\! F(a,b) = \sum_{i =1}^n ( Y_i - Y'_i )^2 = \sum_{i=1}^n ( Y_i - a \cdot X_i - b) ^2$

$\! \frac{ \part F }{ \part a} (a,b) = 0$

$\! \frac{ \part F }{ \part b} (a,b) = 0$

2. regresijska premica

$\! X' = E(X) + \frac{K(X,Y)}{D(Y)} (Y - E(Y))$

Drugo regresijsko premico dobimo tako, da minimiziramo vsoto kvadratov odstopanj v x smeri.

Regresijski premici tipično nista enaki.

$\! Y' = \overline{Y} + \frac{ \hat{k} ( X,Y) }{ ( \hat{s}(X))^2} (X - \overline{X} )$

$\! X' = \overline{X} + \frac{ \hat{k} ( X,Y) }{ ( \hat{s}(Y))^2} (Y- \overline{Y} )$

Definicija

$\hat{s} (X) = \sqrt {\frac{ \sum (X_i - \overline{X}) ^2}{ n-1}}$

$\hat{k} (X,Y) = \frac{ \sum (X_i - \overline{X}) ^2 (Y_i - \overline{Y}) ^2}{n-1}$

Trditev

1. in 2. regresijska premica se sekata v točki (E(X),E(Y))