Kullback–Leibler divergence

Angol

Főnév

Kullback–Leibler divergence (tsz. Kullback–Leibler divergences)

1. (informatika) A Kullback–Leibler divergencia (röviden KL divergencia) egy aszimmetrikus mérték két valószínűségi eloszlás között. Azt méri, hogy egy eloszlás mennyi többlet-információt hordoz a másikkal szemben – vagy másképpen: mennyi információveszteség történik, ha a valós eloszlás helyett egy közelítő eloszlást használunk.

---

🧮 Definíció

Legyen ${\textstyle P}$ a valódi eloszlás, ${\textstyle Q}$ pedig a közelítő eloszlás. A KL divergencia:

• Diszkrét esetben:

  $$D_{\text{KL}}(P\parallel Q)=\sum _{x}P(x)\log {\frac {P(x)}{Q(x)}}$$

• Folytonos esetben:

  $$D_{\text{KL}}(P\parallel Q)=\int P(x)\log {\frac {P(x)}{Q(x)}}\,dx$$

---

📌 Tulajdonságok

• ${\textstyle D_{\text{KL}}(P\parallel Q)\geq 0}$ (az egyenlőség csak akkor áll fenn, ha ${\textstyle P=Q}$ majdnem mindenütt)
• Nem szimmetrikus: ${\textstyle D_{\text{KL}}(P\parallel Q)\neq D_{\text{KL}}(Q\parallel P)}$
• Nem teljesít háromszög-egyenlőtlenséget, tehát nem valódi távolság a matematikai értelemben.

---

📈 Intuíció

• Azt mondja meg, hogy mennyi extra bit kell, ha a valós ${\textstyle P}$ helyett a hibás ${\textstyle Q}$-t használjuk kódolásra.
• Ha ${\textstyle Q}$ nagyon rosszul közelíti ${\textstyle P}$-t, a divergencia nagy lesz.

---

💡 Felhasználás

• Gépi tanulás: valószínűségi modellek tanítása, például variációs autoenkóderekben
• Információelmélet: tömörítés, kódolás, modellek összehasonlítása
• Statisztika: eloszlásillesztés, maximum likelihood és Bayes-inferenciában

---

🧠 Példa (diszkrét)

Legyen ${\textstyle P=[0.5,0.5]}$, ${\textstyle Q=[0.9,0.1]}$

A divergencia:

$$D_{\text{KL}}(P\parallel Q)=0.5\log \left({\frac {0.5}{0.9}}\right)+0.5\log \left({\frac {0.5}{0.1}}\right)\approx 0.5(-0.152)+0.5(2.322)=1.085$$

További információk

• Kullback–Leibler divergence - Szótár.net (en-hu)
• Kullback–Leibler divergence - Sztaki (en-hu)
• Kullback–Leibler divergence - Merriam–Webster
• Kullback–Leibler divergence - Cambridge
• Kullback–Leibler divergence - WordNet
• Kullback–Leibler divergence - Яндекс (en-ru)
• Kullback–Leibler divergence - Google (en-hu)
• Kullback–Leibler divergence - Wikidata
• Kullback–Leibler divergence - Wikipédia (angol)