Zipf-Mandelbrotova porazdelitev

Zipf-Mandelbrotova porazdelitev
parametri	$N\in \{1,2,3\ldots \}$ (celo število) $q\in [0;\infty )$ (realno število) $s>0\,$ (realno število)
interval	$k\in \{1,2,\ldots ,N\}$
funkcija verjetnosti (pdf)	${\frac {1/(k+q)^{s}}{H_{N,q,s}}}$
zbirna funkcija verjetnosti (cdf)	${\frac {H_{k,q,s}}{H_{N,q,s}}}$
pričakovana vrednost	${\frac {H_{N,q,s-1}}{H_{N,q,s}}}-q$
mediana
modus	$1\,$
varianca
simetrija
sploščenost (eksces)
entropija
funkcija generiranja momentov (mgf)
karakteristična funkcija

Zipf-Mandelbrotova porazdelitev (tudi Zipf-Mandelbrotov zakon ali Pareto-Zipfova porazdelitev) je diskretna verjetnostna porazdelitev.

Imenuje se po ameriškem jezikoslovcu in filologu Georgeu Kingsleyu Zipfu (1902–1950), francosko-ameriškem matematiku poljskega rodu Benoîtu Mandelbrotu (1924–2010) in italijanskem ekonomistu in sociologu Vilfredu Paretu (1848–1923). Zipf je predlagal enostavnejšo varianto, ki so jo imenovali Zipfov zakon. Pozneje je Mandelbrot problem posplošil in ga uporabil celo za idealni plin.

Funkcija verjetnosti je enaka ${\frac {1/(k+q)^{s}}{H_{N,q,s}}}\!\,,$ kjer je:

• $H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}}$,

kadar je q = 0 in je s približno 1, se dobi Zipfov zakon.

To vrednost se ima lahko kot posplošitev harmoničnih števil (glej tudi harmonična vrsta). Ko se N približuje neskončnosti, postane to Hurwitzeva funkcija zeta $\zeta (q,s)$. Za končne N pri q = 0 postane Zipf-Mandelbrotova porazdelitev enaka Zipfovemu zakonu. Za nekončne N pri q = 0 postane porazdelitev zeta.

Uporaba

Zipf-Mandelbrotov zakon se uporablja v jezikoslovju (kvantitativna lingvistika). Opisuje porazdelitev besed (ne skupin besed, kot so fraze) v besedilih naravnih jezikov oziroma v besedilnih korpusih. Porazdelitev besed v poljubnem besedilu po pogostosti (frekvenci) pojavljanja se podreja potenčni porazdelitvi, ki je znana kot Zipfov zakon. Če prikažemo pogostost (frekvenco) pojavljanja (v padajočem redu) posameznih besed v zelo velikih besedilih, dobimo porazdelitev, ki je potenčna in ima eksponent zelo blizu vrednosti 1. Lahko jo zapišemo kot

$P_{n}\sim 1/n^{a}\;,$.

Eksponent ima vrednost, ki je zelo blizu 1. Podoben zakon velja še na nekaterih drugih področjih (ekonomija, fizika, biologija, demografija, glasba, bibliografija). Iz tega sledi, da se določene besede v naravnih jezikih uporabljajo bolj pogosto kot druge.

Značilnosti

Funkcija verjetnosti

Funkcija verjetnosti je enaka ${\frac {1/(k+q)^{s}}{H_{N,q,s}}}$
kjer je

• :$H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}}$.

Zbirna funkcija verjetnosti

Zbirna funkcija verjetnosti je ${\frac {H_{k,q,s}}{H_{N,q,s}}}$.

Pričakovana vrednost

Pričakovana vrednost je enaka ${\frac {H_{N,q,s-1}}{H_{N,q,s}}}-q$.

Modus

Modus je enak $1\,$.

Glej tudi

• verjetnostna porazdelitev
• seznam verjetnostnih porazdelitev

Zunanje povezave

• Pogostost pojavljanja angleških besed (angleško)
• Opis lastnosti Zipf-Mandelbrotove porazdelitve (angleško)