Linearna regresija

Iz Wikipedije, proste enciklopedije
Skoči na: navigacija, iskanje

Regresija meri odvisnost dveh slučajnih spremenljivk - kakšen vpliv ima ena na dugo.

Na populaciji merimo 2 podatka, zanima nas vrsta odvisnosti med slučajnima spremenljivkama.

Razsevni grafikoni

1. in 2. : linearna regresija


Iščemo krivuljo ki bi se podatkom najboljše prilegala. Če je linearna regresija iščemo premico.

y = k*x+n

Glede na to kako bi krivulja »morala izgledati« začnemo graditi krivuljo ki se bo najbolje prilegala.


Primer[uredi | uredi kodo]

  • Dnevna količina padavin in število gledalcev na nogometni tekmi.
  • Starost in cena avtomobila.
  • Število pokajenih cigaret in življenjska doba.


Linearna regresija[uredi | uredi kodo]

1. regresijsko premica
\! Y' = a \cdot X + b = E(Y) + \frac{K(X,Y)}{D(X)} (X - E(X))


Parametra a in b izberemo po metodi najmanjših kvadratov tako, da minimiziramo (pogledamo za vsako meritev koliko daleč navpično (y) leži od premice, vsota kvadratov vseh meritev mora biti čimmanjša).

\! F(a,b) = \sum_{i =1}^n ( Y_i - Y'_i )^2 = \sum_{i=1}^n ( Y_i - a \cdot X_i - b) ^2


\! \frac{ \part F }{ \part a} (a,b) = 0

\! \frac{ \part F }{ \part b} (a,b) = 0


2. regresijska premica
\! X' = E(X) + \frac{K(X,Y)}{D(Y)} (Y - E(Y))


Drugo regresijsko premico dobimo tako, da minimiziramo vsoto kvadratov odstopanj v x smeri.


Regresijski premici tipično nista enaki.


\! Y' = \overline{Y} + \frac{ \hat{k} ( X,Y) }{ ( \hat{s}(X))^2} (X - \overline{X} )

\! X' = \overline{X} + \frac{ \hat{k} ( X,Y) }{ ( \hat{s}(Y))^2} (Y- \overline{Y} )


Definicija

\hat{s} (X) =  \sqrt {\frac{ \sum (X_i - \overline{X}) ^2}{ n-1}}

\hat{k} (X,Y) = \frac{ \sum (X_i - \overline{X}) ^2 (Y_i - \overline{Y}) ^2}{n-1}

Trditev
1. in 2. regresijska premica se sekata v točki (E(X),E(Y))