Ugrás a tartalomhoz

Kullback–Leibler divergence

A Wikiszótárból, a nyitott szótárból

Angol

Főnév

Kullback–Leibler divergence (tsz. Kullback–Leibler divergences)

(informatika) A Kullback–Leibler divergencia (röviden KL divergencia) egy aszimmetrikus mérték két valószínűségi eloszlás között. Azt méri, hogy egy eloszlás mennyi többlet-információt hordoz a másikkal szemben – vagy másképpen: mennyi információveszteség történik, ha a valós eloszlás helyett egy közelítő eloszlást használunk.

🧮 Definíció

Legyen $P$ a valódi eloszlás, $Q$ pedig a közelítő eloszlás. A KL divergencia:

Diszkrét esetben:

$D_{KL} (P ∥ Q) = \sum_{x} P (x) \log \frac{P (x)}{Q (x)}$
Folytonos esetben:

$D_{KL} (P ∥ Q) = \int P (x) \log \frac{P (x)}{Q (x)} d x$

📌 Tulajdonságok

$D_{KL} (P ∥ Q) \geq 0$ (az egyenlőség csak akkor áll fenn, ha $P = Q$ majdnem mindenütt)
Nem szimmetrikus: $D_{KL} (P ∥ Q) \neq D_{KL} (Q ∥ P)$
Nem teljesít háromszög-egyenlőtlenséget, tehát nem valódi távolság a matematikai értelemben.

📈 Intuíció

Azt mondja meg, hogy mennyi extra bit kell, ha a valós $P$ helyett a hibás $Q$ -t használjuk kódolásra.
Ha $Q$ nagyon rosszul közelíti $P$ -t, a divergencia nagy lesz.

💡 Felhasználás

Gépi tanulás: valószínűségi modellek tanítása, például variációs autoenkóderekben
Információelmélet: tömörítés, kódolás, modellek összehasonlítása
Statisztika: eloszlásillesztés, maximum likelihood és Bayes-inferenciában

🧠 Példa (diszkrét)

Legyen $P = [0.5, 0.5]$ , $Q = [0.9, 0.1]$

A divergencia:

$D_{KL} (P ∥ Q) = 0.5 \log (\frac{0.5}{0.9}) + 0.5 \log (\frac{0.5}{0.1}) \approx 0.5 (- 0.152) + 0.5 (2.322) = 1.085$

További információk

Kullback–Leibler divergence - Szótár.net (en-hu)
Kullback–Leibler divergence - Sztaki (en-hu)
Kullback–Leibler divergence - Merriam–Webster
Kullback–Leibler divergence - Cambridge
Kullback–Leibler divergence - WordNet
Kullback–Leibler divergence - Яндекс (en-ru)
Kullback–Leibler divergence - Google (en-hu)
Kullback–Leibler divergence - Wikidata
Kullback–Leibler divergence - Wikipédia (angol)

A lap eredeti címe: „https://hu.wiktionary.org/w/index.php?title=Kullback–Leibler_divergence&oldid=3499279”

Rejtett kategóriák: