Navadni najmanjši kvadrati

V statistiki je metoda navadnih najmanjših kvadratov (OLS) vrsta metode linearnih najmanjših kvadratov za izbiranje neznanih parametrov v linearnem regresijskem modelu s fiksnimi učinki linearne funkcije seta pojasnjevalnih spremenljivk po načelu najmanjših kvadratov: minimiziranje vsote kvadratov razlik med opazovalno odvisno spremenljivko (vrednosti opazovalne spremenljivke) v vhodnem setu podatkov in izhodni (linearni) funkciji neodvisne spremenljivke. Nekateri viri imajo OLS za linearno regresijo.

Geometrijsko lahko na to gledamo kot na vsoto kvadriranih razdalj, vzporednih osi odvisne spremenljivke med vsako podatkovno točko v setu in ustrezno točko na regresijski površini – manjše kot so razlike, bolje model ustreza podatkom. Posledično cenilko lahko izrazimo s preprosto formulo, zlasti v primeru preproste linearne regresije, v kateri je en regresor na desni strani regresijske enačbe.

OLS cenilka je konsistentna za fiksne učinke prve ravni, ko so regresorji eksogeni in oblikuje popolno kolinearnost (pogoj ranga), konsistentno za oceno variance ostankov, ko imajo regresorji končne četrte momente in Gauss–Markov teorem – optimalna v razredu linearnih nepristranskih cenilk ko so napake homoskedastične in serijsko nekorelirane. Pod temi pogoji metoda OLS zagotavlja minimalno-variančno povprečno-nepristransko ocenjevanje, ko imajo napake končne variance. Pod dodatnimi predpostavkami, da so napake normalno razporejene z aritmetično sredino nič, je OLS cenilka največje verjetnosti, ki je boljša od katerekoli nelinearne nepristranske cenilke.

Ocenjevanje

Naj bo b "kandidat" vrednosti za parametrični vektor β. Količina y_i − x_i^Tb, imenovana ostanek za i-to opazovanje, meri vertikalno razdaljo med podatkovno točko (x_i, y_i) in hiperravnino y = x^Tb, in tako vrednoti stopnjo ustrezanja med dejanskimi podatki in modelom. Vsota kvadriranih ostankov (SSR) (tudi vsota kvadratov napak (ESS) ali vsota kvadratov ostankov (RSS)) je mera splošnega ustrezanja modela:

$S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),$

kjer T označuje transponirano matriko, vrstice X pa označujejo vrednosti vseh neodvisnih spremenljivk, povezanih z določeno vrednostjo odvisne spremenljivke, so X_i = x_i^T. Vrednost b, ki minimizira to vsoto, se imenuje OLS cenilka za β. Funkcija S(b) je kvadratna v b s pozitivno-definitno Hessejevo matriko in tako ima ta funkcija unikatni globalni minimuum pri $b={\hat {\beta }}$, ki mu lahko damo eksplicitno formulo

${\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .$

Produkt N = X^T X je Gramova matrika in njen inverz, Q = N⁻¹, je matrika kofaktorjev od β, močno povezana s svojo kovariančno matriko, C_β. Matrika (X^T X)⁻¹ X^T = Q X^T se imenuje Moore–Penrosejeva psevdoinverzna matrika od X. Ta formulacija poudarja dejstvo, da lahko ocenjevanje izvedemo če in samo če ni popolne multikolinearnosti med pojasnjevalnimi spremenljivkami (ki bi povzročile, da Gramova matrika nima inverza).

Viri in nadaljnje branje

• Dougherty, Christopher (2002). Introduction to Econometrics (2nd izd.). New York: Oxford University Press. str. 48–113. ISBN 0-19-877643-8.
• Gujarati, Damodar N.; Porter, Dawn C. (2009). Basic Econometics (Fifth izd.). Boston: McGraw-Hill Irwin. str. 55–96. ISBN 978-0-07-337577-9.
• Hayashi, Fumio (2000). Econometrics. Princeton University Press.
• Heij, Christiaan; Boer, Paul; Franses, Philip H.; Kloek, Teun; van Dijk, Herman K. (2004). Econometric Methods with Applications in Business and Economics (1st izd.). Oxford: Oxford University Press. str. 76–115. ISBN 978-0-19-926801-6.
• Hill, R. Carter; Griffiths, William E.; Lim, Guay C. (2008). Principles of Econometrics (3rd izd.). Hoboken, NJ: John Wiley & Sons. str. 8–47. ISBN 978-0-471-72360-8.
• Wooldridge, Jeffrey (2008). »The Simple Regression Model«. Introductory Econometrics: A Modern Approach (4th izd.). Mason, OH: Cengage Learning. str. 22–67. ISBN 978-0-324-58162-1.