Backpropagation

Iz Wikipedije, proste enciklopedije
Skoči na: navigacija, iskanje

Backpropagation oziroma metoda vzvratnega razširjanja je ime znanega algoritma za učenje umetnih nevronskih mrež oziroma za globoko učenje. Prvič je algoritem opisal Paul Werbos leta 1974. Uveljavil pa se je šele leta 1986, ko so nevronske mreže doživele preporod. Sodi v nadzorovano učenje in velja za posplošitev pravila delta (anleško Delta rule, nemško Delta-Regel) na večslojne mreže. Pri učenju je prisoten učitelj, ki vhodnim podatkom priredi izhodno želeno vrednost. Bacpropagation je poseben primer splošne gradientne metode v optimizaciji, ki temelji na srednji kvadratni napaki.

Lastnosti[uredi | uredi kodo]

Metoda je iterativna, saj rešitev nastaja postopoma v številnih malih korakih. Delovanje metode spominja na spuščanje kroglice s hriba, ki se premika v smeri nagiba, pri čemer se ji zmanjšuje višina. Pri tem se ji lahko zgodi da se ustavi v kotanji (lokalni minimum), še preden je prišla do vznožja (globalni minimum). Zato je metoda Backpropagation počasna in nezanesljiva. Razen tega ima ta metoda še mnoge druge pomanjkljivosti: (1) neinformativnost - ne pove kako pride do rezultata, (2) nekonstruktivnost - ne zna sama poiskati optimalne zgradbe nevronske mreže (3) neučinkovitost - za učenje uporablja razen koristnih tudi jalove učne vzorce (4) ne odpravlja šuma, (5) ne roji učnih podatkov, če naštejemo samo nekatere. Omenjene pomankljivosti učinkovito odpravljata algoritma Bipropagation in Metoda mejnih parov


Glej tudi[uredi | uredi kodo]