Pojdi na vsebino

Razložljiva umetna inteligenca

Iz Wikipedije, proste enciklopedije

Razložljiva umetna inteligenca (angleško explainable AI – XAI), znana tudi kot interpretljiva umetna inteligenca ali razložljivo strojno učenje (angleško explainable machine learning – XML),[1] je umetna inteligenca (AI), v kateri so razlogi za odločitve in napovedi modelov umetne inteligence razumljivi ljudem.[2] Je nasprotje koncepta »črne škatle« v strojnem učenju, kjer niti oblikovalci umetne inteligence ne poznajo razlogov za rezultate modelov umetne inteligence.[3][4]

Namera XAI je učinkovitejše delovanje AI sistemov preko izboljšanja uporabniškega razumevanja AI odločanja.[5] XAI se lahko smatra kot implementacija družbene pravice do pojasnila.[6] XAI lahko izboljša uporabniško izkušnjo izdelka ali storitve, ker pozitivno vpliva na zaupanje končnih uporabnikov v odločitve umetne inteligence. XAI deluje s ciljem razlage kaj je bilo storjeno, kaj se počne, kaj bo storjeno naslednje ter razkriti, na katerih informacijah temeljijo ti ukrepi.[7] Poznavanje teh informacije omogočajo potrditev ali izpodbijanje obstoječega znanja in ustvarjanje novih predpostavk.[8]

Algoritme strojnega učenja (ML), ki se uporabljajo v AI, se lahko kategorizira kot bele škatle ali črne škatle.[9] Kot bele škatle so kategorizirani modeli, katerih rezultati so razumljivi domenskim strokovnjakom. Po drugi strani pa je modele črnih škatel izjemno težko pojasniti in jih težko razumejo celo domenski strokovnjaki.[10] Algoritmi XAI delujejo v skladu z načeli transparentnosti, interpretabilnosti in razložljivosti. Model je transparenten, če je proces pridobivanja modelnih parametrov iz testnih podatkov, ter generiranja odločitev na testnih podatkih razumljiv osebi, ki oblikuje model, in če proces poteka ob motivaciji te osebe.[11] V kontekstu XAI je interpretabilnost zmožnost, da je ML model ljudem razumljiv, podlage za njegovo odločanje pa so lahko predstavljene na ljudem razumljiv način.[12][13][14] Razložljivost je prepoznana kot pomemben koncept, vendar še ni enotno definirana.[11] Ena od možnih definicij je »zbirka značilnosti interpretabilnih domen, ki so v danem primeru pripomogle k odločitvi (npr. klasifikacija ali regresija).«[15] Če algoritmi izpolnjujejo ta načela, je zagotovljena osnova za utemeljitev odločitev, njihovo sledenje in s tem njihovo preverjanje, izboljšanje algoritmov in raziskovanje novih dejstev.[16]

Zelo točne rezultate se lahko včasih doseže tudi z belo-škatelskim algoritmom umetne inteligence, ki je sam po sebi interpretabilen.[17] To je še posebej pomembno na področjih, kot so medicina, obramba, finance in pravo, kjer je ključno razumeti odločitve in ohranjati zaupanje v algoritme.[7] Simbolična regresija je metoda, kjer algoritem preiskuje matematične izraze in išče model, ki najbolje ustreza danemu naboru podatkov. Mnogi raziskovalci menijo, da je to, vsaj v domeni strojenega učenja, dobra smer za razvoj v prihodnosti.[18][19][20]

Sistemi umetne inteligence delujejo na načelu optimiziranja svojega vedenja, da zadostijo matematično specificiranemu sistemu ciljev. Sistem ciljev izbrerejo oblikovalci sistema, zgled takšnega cilja je npr. ukaz »maksimalno povečaj točnost analize razpoloženja iz ocen filmov v naboru testnih podatkov.« Umetna inteligenca se lahko nauči koristnih splošnih pravil iz testnega nabora, na primer da bodo »ocene, ki vsebujejo besedo "grozljivo", verjetno negativne.« Vendar pa se lahko nauči tudi neprimernih pravil, kot na primer »recenzije, ki vsebujejo 'Daniel Day-Lewis', so običajno pozitivne« – takšna pravila so nezaželena, saj verjetno ne bodo uspela posplošiti zunaj nabora usposabljanja, ljudje pa lahko menijo, da je pravilo »goljufanje« ali »nepošteno«. Človek lahko revidira pravila v XAI, da dobi predstavo o možnosti pospeševanja sistema na prihodnjih podatkih iz resničnega sveta zunaj testnega niza.[21]

Cilji

[uredi | uredi kodo]

Sodelovanje med agenti – v tem primeru algoritmi in ljudmi – je odvisno od zaupanja. Če naj ljudje sprejmejo algoritemske recepte, jim morajo zaupati. Nepopolna formalna merila zaupanja ovirajo optimizacijo. Preglednost, interpretabilnost in razložljivost so vmesni cilji na poti do teh bolj celovitih meril zaupanja.[22] To je še posebej pomembno v medicini,[23] zlasti v sistemih za podporo kliničnemu odločanju (CDSS), kjer morajo zdravstveni delavci razumeti kako in zakaj je bila sprejeta odločitev umetne inteligence, da bi lahko slednji zaupali in izboljšali svoj postopek sprejemanja odločitev.[24]

Sistemi umetne inteligence se včasih na učnih podatkih naučijo nezaželenih trikov, ker ti triki pripomorejo k optimizaciji izpolnjevanja eksplicitnih vnaprej programiranih ciljev. Vendar ti triki ne zadostijo bolj niansiranim in implicitnim željam človeških načrtovalcev sistemov, prav tako pa ne pokrijejo celotne kompleksnosti podatkov o domeni. Na primer, sistem iz leta 2017, ki je bil zadolžen za prepoznavanje slik, se je naučil »goljufati« tako, da je iskal oznako avtorskih pravic, ki je bila slučajno povezana s slikami konj, namesto da bi se naučil ugotoviti, ali je bil konj dejansko prikazan.[4] Drug primer je sistem umetne inteligence, naučene z nadzorovanim učenjem iz leta 2017. Umetna inteligenca, ki je bila zadolžena za prijemanje predmetov v virtualnem svetu, se je naučila goljufati tako, da je svoj manipulator postavila med objekt in gledalca tako, da se je lažno zdelo, da grabi predmet.[25][26]

Eden od projektov transparentnosti, program DARPA XAI, je namenjen izdelavi modelov tako imenovanih »steklenih škatel«, ki so razumljivi »človeku v zanki« (osebi, udeleženi v proces strojnega učenja), ne da bi pri tem veliko žrtvovali zmogljivost umetne inteligence. Človeški uporabniki takšnega sistema lahko razumejo kognicijo AI (tako v realnem času kot naknadno) in se lahko odločijo, ali naj zaupajo AI.[27] Druge aplikacije XAI so pridobivanje znanja iz modelov črnih škatel in primerjave modelov.[28] V kontekstu nadzornih sistemov se za opis etične in družbeno-pravne skladnosti uporablja izraz »steklena škatla«. Opisuje orodja, ki sledijo vhodom in izhodom zadevnega sistema ter zagotavljajo razlage za njihovo vedenje in odločitve. Namen teh orodij je zagotoviti, da sistem deluje v skladu z etičnimi in pravnimi standardi ter da so postopki sprejemanja odločitev pregledni in odgovorni. Izraz »steklena škatla« se pogosto uporablja v nasprotju s sistemi »črnih škatel«, ki nimajo preglednosti in jih je težje spremljati in regulirati.[29] Izraz se uporablja tudi za poimenovanje glasovnega pomočnika, ki daje nasprotne izjave kot pojasnila.[30]

Sklici

[uredi | uredi kodo]
  1. ↑ Phillips, P. Jonathon; Hahn, Carina A.; Fontana, Peter C.; Yates, Amy N.; Greene, Kristen; Broniatowski, David A.; Przybocki, Mark A. (29. september 2021). »Four Principles of Explainable Artificial Intelligence«. doi:10.6028/nist.ir.8312. {{navedi časopis}}: Sklic journal potrebuje|journal= (pomoč)
  2. ↑ Vilone, Giulia; Longo, Luca (december 2021). »Notions of explainability and evaluation approaches for explainable artificial intelligence«. Information Fusion. 76: 89–106. doi:10.1016/j.inffus.2021.05.009.{{navedi časopis}}: Vzdrževanje CS1: samodejni prevod datuma (povezava)
  3. ↑ Castelvecchi, Davide (6. oktober 2016). »Can we open the black box of AI?«. Nature (v angleščini). 538 (7623): 20–23. Bibcode:2016Natur.538...20C. doi:10.1038/538020a. ISSN 0028-0836. PMID 27708329.
  4. ↑ 4,0 4,1 Sample, Ian (5. november 2017). »Computer says no: why making AIs fair, accountable and transparent is crucial«. The Guardian (v angleščini). Pridobljeno 30. januarja 2018.
  5. ↑ Alizadeh, Fatemeh (2021). »I Don't Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People's Expectations of Current and Future Artificial Intelligence«. Icom. 20 (1): 3–17. doi:10.1515/icom-2021-0009.
  6. ↑ Edwards, Lilian; Veale, Michael (2017). »Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For«. Duke Law and Technology Review. 16: 18. SSRN 2972855.
  7. ↑ 7,0 7,1 Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (18. december 2019). »XAI-Explainable artificial intelligence«. Science Robotics (v angleščini). 4 (37): eaay7120. doi:10.1126/scirobotics.aay7120. ISSN 2470-9476. PMID 33137719.
  8. ↑ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (17. december 2020). »Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms«. PLOS ONE (v angleščini). 15 (12): e0243615. Bibcode:2020PLoSO..1543615R. doi:10.1371/journal.pone.0243615. ISSN 1932-6203. PMC 7746264. PMID 33332440.
  9. ↑ Vilone, Giulia; Longo, Luca (2021). »Classification of Explainable Artificial Intelligence Methods through Their Output Formats«. Machine Learning and Knowledge Extraction. 3 (3): 615–661. doi:10.3390/make3030032.
  10. ↑ Loyola-González, O. (2019). »Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View«. IEEE Access. 7: 154096–154113. doi:10.1109/ACCESS.2019.2949286. ISSN 2169-3536.
  11. ↑ 11,0 11,1 Roscher, R.; Bohn, B.; Duarte, M. F.; Garcke, J. (2020). »Explainable Machine Learning for Scientific Insights and Discoveries«. IEEE Access. 8: 42200–42216. arXiv:1905.08883. doi:10.1109/ACCESS.2020.2976199. ISSN 2169-3536.
  12. ↑ Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (14. januar 2019). »Interpretable machine learning: definitions, methods, and applications«. Proceedings of the National Academy of Sciences of the United States of America. 116 (44): 22071–22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. doi:10.1073/pnas.1900654116. PMC 6825274. PMID 31619572.
  13. ↑ Lipton, Zachary C. (Junij 2018). »The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery«. Queue (v angleščini). 16 (3): 31–57. doi:10.1145/3236386.3241340. ISSN 1542-7730.
  14. ↑ »Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI«. DeepAI. 22. oktober 2019. Pridobljeno 13. januarja 2021.
  15. ↑ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (1. februar 2018). »Methods for interpreting and understanding deep neural networks«. Digital Signal Processing (v angleščini). 73: 1–15. doi:10.1016/j.dsp.2017.10.011. ISSN 1051-2004.
  16. ↑ Adadi, A.; Berrada, M. (2018). »Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)«. IEEE Access. 6: 52138–52160. doi:10.1109/ACCESS.2018.2870052. ISSN 2169-3536.
  17. ↑ Rudin, Cynthia (2019). »Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead«. Nature Machine Intelligence (v angleščini). 1 (5): 206–215. arXiv:1811.10154. doi:10.1038/s42256-019-0048-x. ISSN 2522-5839. PMC 9122117. PMID 35603010.
  18. ↑ Wenninger, Simon; Kaymakci, Can; Wiethe, Christian (2022). »Explainable long-term building energy consumption prediction using QLattice«. Applied Energy. Elsevier BV. 308: 118300. doi:10.1016/j.apenergy.2021.118300. ISSN 0306-2619.
  19. ↑ Christiansen, Michael; Wilstrup, Casper; Hedley, Paula L. (2022). »Explainable "white-box" machine learning is the way forward in preeclampsia screening«. American Journal of Obstetrics and Gynecology. Elsevier BV. 227 (5): 791. doi:10.1016/j.ajog.2022.06.057. ISSN 0002-9378. PMID 35779588.
  20. ↑ Wilstup, Casper; Cave, Chris (15. januar 2021), Combining symbolic regression with the Cox proportional hazards model improves prediction of heart failure deaths, Cold Spring Harbor Laboratory, doi:10.1101/2021.01.15.21249874
  21. ↑ »How AI detectives are cracking open the black box of deep learning«. Science (v angleščini). 5. julij 2017. Pridobljeno 30. januarja 2018..
  22. ↑ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica (25. maj 2018). Explainable Artificial Intelligence: A Survey (PDF). MIPRO 2018. Opatija, Croatia. str. 210–215. doi:10.23919/MIPRO.2018.8400040. ISBN 978-953-233-095-3. Arhivirano iz prvotnega spletišča (PDF) dne 10. decembra 2018. Pridobljeno 9. decembra 2018.
  23. ↑ Bernal, Jose; Mazo, Claudia (11. oktober 2022). »Transparency of Artificial Intelligence in Healthcare: Insights from Professionals in Computing and Healthcare Worldwide«. Applied Sciences (v angleščini). 12 (20): 10228. doi:10.3390/app122010228. ISSN 2076-3417.
  24. ↑ Antoniadi, Anna Markella; Du, Yuhan; Guendouz, Yasmine; Wei, Lan; Mazo, Claudia; Becker, Brett A.; Mooney, Catherine (Januar 2021). »Current Challenges and Future Opportunities for XAI in Machine Learning-Based Clinical Decision Support Systems: A Systematic Review«. Applied Sciences (v angleščini). 11 (11): 5088. doi:10.3390/app11115088. ISSN 2076-3417.
  25. ↑ »DeepMind Has Simple Tests That Might Prevent Elon Musk's AI Apocalypse«. Bloomberg.com (v angleščini). 11. december 2017. Pridobljeno 30. januarja 2018.
  26. ↑ »Learning from Human Preferences«. OpenAI Blog. 13. junij 2017. Arhivirano iz prvotnega spletišča dne 28. marca 2023. Pridobljeno 30. januarja 2018.
  27. ↑ »Explainable Artificial Intelligence (XAI)«. DARPA. Pridobljeno 17. julija 2017.
  28. ↑ Biecek, Przemyslaw (23. junij 2018). »DALEX: explainers for complex predictive models«. Journal of Machine Learning Research. 19: 1–5. arXiv:1806.08915. Bibcode:2018arXiv180608915B.
  29. ↑ Rai, Arun. "Explainable AI: From black box to glass box." Journal of the Academy of Marketing Science 48 (2020): 137-141.
  30. ↑ Sokol, Kacper; Flach, Peter (2018). »Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant«. Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. str. 5868–5870. doi:10.24963/ijcai.2018/865. ISBN 9780999241127.
Pridobljeno iz »https://sl.wikipedia.org/w/index.php?title=Razložljiva_umetna_inteligenca&oldid=6090264«