Bayesiansko sklepanje

Bayesiansko sklepanje je metoda statističnega sklepanja, pri katerem uporabimo Bayesov izrek za posodobitev verjetnosti za hipotezo, ko postane na voljo več dokazov ali podatkov. Bayesiansko sklepanje je pomembna tehnika v statistki, zlasti v matematični statistiki. Bayesiansko posodabljanje je posebno pomembno pri dinamični analizi sekvenc podatkov. Bayesiansko sklepanje je v uporabi v znanosti, inženirstvu, filozofiji, medicini, športu in pravu. V filozofiji teorije odločitev je Bayesiansko sklepanje tesno povezano s subjektivno verjetnostjo, pogosto imenovano Bayesianska verjetnost.

Uvod v Bayesovo pravilo

Geometrijska predstavitev Bayesovega izreka. V tabeli vrednosti 2, 3, 6 in 9 dajo relativne uteži vsakega ustreznega pogoja in primera. Slike označujejo celice v tabeli vključene v vsako metriko, verjetnost, da je ulomek vsake slike, ki je pobarvana. To prikazuje, da P(A|B) P(B) = P(B|A) P(A) tj. P(A|B) = P(B|A) P(A)/P(B). Podobno logiko lahko uporabimo, da prikažemo, da P(¬A|B) = P(B|¬A) P(¬A)/P(B) itd.

Formalna razlaga

Pogojna tabela

Hipoteza Dokazi	Ugaja hipotezi H	Krši hipotezo ¬H		Skupno
Ima dokaze E	P(H|E)·P(E) = P(E|H)·P(H)	P(¬H|E)·P(E) = P(E|¬H)·P(¬H)		P(E)
Nima dokazov ¬E	P(H|¬E)·P(¬E) = P(¬E|H)·P(H)	P(¬H|¬E)·P(¬E) = P(¬E|¬H)·P(¬H)		P(¬E) = 1−P(E)
Skupno	P(H)	P(¬H) = 1−P(H)	1

Bayesiansko sklepanje izpeljuje posteriorno verjetnost kot posledico dveh predhodnikov: priorne verjetnosti in funkcije verjetja, izpeljane iz statističnega modela za opazovane podatke. Bayesiansko sklepanje izračuna posteriorno verjetnost glede na Bayesov izrek:

$$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},$$

kjer

• $H$ predstavlja katerokoli hipotezo, na verjetnost katere lahko vplivajo eksperimentalni podatki (ali dokazi). Pogosto imamo konkurenčne hipoteze, in naloga je določiti, katera je najbolj verjetna.
• $P(H)$, priorna verjetnost, je ocena verjetnosti hipoteze $H$, preden opazujemo podatke $E$, trenutne dokaze.
• $E$, dokazi, ustreza novim podatkom, ki niso bili uporabljeni pri računanju priorne verjetnosti.
• $P(H\mid E)$, posteriorna verjetnost, je verjetnost $H$ pri danem $E$, tj. po tem, ko je $E$ opazovan. Zanima nas verjetnost hipoteze pri danih opazovanih dokazih.
• $P(E\mid H)$ je verjetnost opazovanja $E$ pri danem $H$ in se imenuje verjetje. Kot funkcija $E$ s fiksnim $H$, nakazuje kompatibilnost dokazov z dano hipotezo. Funkcija verjetja je funkcija dokazov $E$, medtem ko je posteriorna verjetnost funkcija hipoteze $H$.
• $P(E)$ se včasih imenuje mejna verjetnost ali »modelski dokazi«. Ta dejavnik je enak za vse možne obravnavane hipoteze. (as is evidentkot je očitno na podlagi dejstva, da se hipoteza $H$ ne pojavi nikjer v simbolu, za razliko od vseh drugih dejavnikov) in tako ni dejavnik pri določanju relativnih verjetnosti drugačnih hipotez.

Viri

• Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. ISBN 0123850487, ISBN 978-0123850485
• Bickel, Peter J. & Doksum, Kjell A. (2001). Mathematical Statistics, Volume 1: Basic and Selected Topics (Second (updated printing 2007) izd.). Pearson Prentice–Hall. ISBN 978-0-13-850363-5.
• Box, G. E. P. and Tiao, G. C. (1973) Bayesian Inference in Statistical Analysis, Wiley, ISBN 0-471-57428-7
• Edwards, Ward (1968). »Conservatism in Human Information Processing«. V Kleinmuntz, B. (ur.). Formal Representation of Human Judgment. Wiley.
• Edwards, Ward (1982). Daniel Kahneman; Paul Slovic; Amos Tversky (ur.). »Judgment under uncertainty: Heuristics and biases«. Science. 185 (4157): 1124–1131. Bibcode:1974Sci...185.1124T. doi:10.1126/science.185.4157.1124. PMID 17835457. S2CID 143452957. Chapter: Conservatism in Human Information Processing (excerpted)
• Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996).
• Howson, C. & Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (3rd izd.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
• Phillips, L. D.; Edwards, Ward (Oktober 2008). »Chapter 6: Conservatism in a Simple Probability Inference Task (Journal of Experimental Psychology (1966) 72: 346-354)«. V Jie W. Weiss; David J. Weiss (ur.). A Science of Decision Making:The Legacy of Ward Edwards. Oxford University Press. str. 536. ISBN 978-0-19-532298-9.

Nadaljnje branje

• Za celotno poročilo o zgodovini Bayesianske statistike in debate s frekventističnimi pristopi, preberi Vallverdu, Jordi (2016). Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning. New York: Springer. ISBN 978-3-662-48638-2.
• Clayton, Aubrey (Avgust 2021). Bernoulli's Fallacy: Statistical Illogic and the Crisis of Modern Science. Columbia University Press. ISBN 978-0-231-55335-3.

Osnovno

Naslednje knjige so navedene naraščajoče glede na verjetnostno naprednost:

• Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
• Dennis V. Lindley (2013). Understanding Uncertainty, Revised Edition (2nd izd.). John Wiley. ISBN 978-1-118-65012-7.
• Colin Howson & Peter Urbach (2005). Scientific Reasoning: The Bayesian Approach (3rd izd.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
• Berry, Donald A. (1996). Statistics: A Bayesian Perspective. Duxbury. ISBN 978-0-534-23476-8.
• Morris H. DeGroot & Mark J. Schervish (2002). Probability and Statistics (third izd.). Addison-Wesley. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L (2003). Introduction to Bayesian Inference and Decision (2nd izd.). Probabilistic. ISBN 978-0-9647938-4-2. Updated classic textbook. Bayesian theory clearly presented.
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P. & Louis, Thomas A. (2008). Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-697-6.
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

Vmesno ali napredno

• Berger, James O (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second izd.). Springer-Verlag. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2.
• Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley.
• DeGroot, Morris H., Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Theory of statistics. Springer-Verlag. ISBN 978-0-387-94546-0.
• Jaynes, E. T. (1998) Probability Theory: The Logic of Science.
• O'Hagan, A. and Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
• Robert, Christian P (2001). The Bayesian Choice – A Decision-Theoretic Motivation (second izd.). Springer. ISBN 978-0-387-94296-4.
• Glenn Shafer and Pearl, Judea, eds. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013), "Bayesian Programming", CRC Press. ISBN 9781439880326
• Francisco J. Samaniego (2010), "A Comparison of the Bayesian and Frequentist Approaches to Estimation" Springer, New York, ISBN 978-1-4419-5940-9

Zunanje povezave

• »Bayesian approach to statistical problems«, Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Bayesian Statistics from Scholarpedia.
• Introduction to Bayesian probability from Queen Mary University of London
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo
• Bayesian reading list, categorized and annotated by Tom Griffiths
• A. Hajek and S. Hartmann: Bayesian Epistemology, in: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93–106.
• S. Hartmann and J. Sprenger: Bayesian Epistemology, in: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609–620.
• Stanford Encyclopedia of Philosophy: "Inductive Logic"
• Bayesian Confirmation Theory (PDF)
• What is Bayesian Learning?
• Data, Uncertainty and Inference — Informal introduction with many examples, ebook (PDF) freely available at causaScientia