Linearna regresija

Ponazoritev premice linearne regresije

Regresija meri odvisnost dveh slučajnih spremenljivk - kakšen vpliv ima ena na drugo.

Na populaciji merimo 2 podatka, zanima nas vrsta odvisnosti med slučajnima spremenljivkama.

Razsevni grafikoni

1. in 2. : linearna regresija

Iščemo krivuljo ki bi se podatkom najboljše prilegala. Če je linearna regresija iščemo premico.

y = k*x+n

Glede na to kako bi krivulja »morala izgledati« začnemo graditi krivuljo ki se bo najbolje prilegala.

Zgledi

• Dnevna količina padavin in število gledalcev na nogometni tekmi.
• Starost in cena avtomobila.
• Število pokajenih cigaret in življenjska doba.

Linearna regresija

1. regresijska premica

$\!Y'=a\cdot X+b=E(Y)+{\frac {K(X,Y)}{D(X)}}(X-E(X))$

Parametra a in b izberemo po metodi najmanjših kvadratov tako, da minimiziramo (pogledamo za vsako meritev koliko daleč navpično (y) leži od premice, vsota kvadratov vseh meritev mora biti čimmanjša).

$\!F(a,b)=\sum _{i=1}^{n}(Y_{i}-Y'_{i})^{2}=\sum _{i=1}^{n}(Y_{i}-a\cdot X_{i}-b)^{2}$

$\!{\frac {\partial F}{\partial a}}(a,b)=0$

$\!{\frac {\partial F}{\partial b}}(a,b)=0$

2. regresijska premica

$\!X'=E(X)+{\frac {K(X,Y)}{D(Y)}}(Y-E(Y))$

Drugo regresijsko premico dobimo tako, da minimiziramo vsoto kvadratov odstopanj v x smeri.

Regresijski premici tipično nista enaki.

$\!Y'={\overline {Y}}+{\frac {{\hat {k}}(X,Y)}{({\hat {s}}(X))^{2}}}(X-{\overline {X}})$

$\!X'={\overline {X}}+{\frac {{\hat {k}}(X,Y)}{({\hat {s}}(Y))^{2}}}(Y-{\overline {Y}})$

Definicija

${\hat {s}}(X)={\sqrt {\frac {\sum (X_{i}-{\overline {X}})^{2}}{n-1}}}$

${\hat {k}}(X,Y)={\frac {\sum (X_{i}-{\overline {X}})(Y_{i}-{\overline {Y}})}{n-1}}$

Trditev

1. in 2. regresijska premica se sekata v točki (E(X),E(Y))