restricted Boltzmann machine

Angol

Főnév

restricted Boltzmann machine (tsz. restricted Boltzmann machines)

(informatika, mesterséges intelligencia) A Restricted Boltzmann Machine (RBM) egy valószínűségi, generatív mesterséges neurális hálózat, amely az adatok rejtett szerkezetét tanulja meg, és képes:

új mintákat generálni,
jellemzőket kinyerni (feature learning),
tömöríteni az adatokat,
vagy hiányzó adatokat rekonstruálni.

Az RBM a klasszikus Boltzmann-gép egyszerűsített, hatékonyabban tanítható változata, amelynek lényege: két réteg között teljes kapcsolat van, de rétegen belül nincs.

📐 Szerkezete

Az RBM egy kétszintes bipartit gráf:

Látható réteg (visible layer): a bemeneti adatok (pl. pixelek, jellemzők)
Rejtett réteg (hidden layer): rejtett jellemzők, amelyeket a modell „kitalál”

Fontos megkötés:

Nincsenek kapcsolatok a látható egységek között
Nincsenek kapcsolatok a rejtett egységek között → “Restricted” (korlátozott) Boltzmann-gép

🔁 Hogyan működik?

A modell célja az adatok valószínűségi eloszlásának megtanulása. Minden lehetséges látható és rejtett állapothoz egy energiaérték tartozik:

Energiafüggvény:

$E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i,j}v_{i}w_{ij}h_{j}$

ahol:

${\textstyle v_{i}}$ : a ${\textstyle i}$ -edik látható egység bináris állapota
${\textstyle h_{j}}$ : a ${\textstyle j}$ -edik rejtett egység bináris állapota
${\textstyle w_{ij}}$ : a súly a ${\textstyle v_{i}}$ és ${\textstyle h_{j}}$ között
${\textstyle a_{i},b_{j}}$ : bias értékek

A modell alacsony energiájú állapotokat preferál – ezek lesznek a valószínűbb minták.

🧮 Tanulás: contrastive divergence (CD)

A tanítás célja, hogy a tanult eloszlás minél jobban közelítse az adatok valódi eloszlását.

Contrastive Divergence lépései:

Forward pass:
- Bemenet → aktiválja a rejtett réteget:
  
  $P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i}v_{i}w_{ij}\right)$
Rekonstruált bemenet:
- Rejtett rétegből újra generál látható értéket:
  
  $P(v_{i}'=1|h)=\sigma \left(a_{i}+\sum _{j}h_{j}w_{ij}\right)$
Hiba alapján súlyfrissítés:

$\Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{adat}}-\langle v_{i}h_{j}\rangle _{\text{rekonstrukció}}$

A gradiens a tanulási szabály szerint frissíti a súlyokat.

🧪 Példák alkalmazásra

Alkalmazás	Leírás
Képtömörítés	MNIST képeken: rejtett réteg = kódolt reprezentáció
Ajánlórendszer	Netflix → filmek bináris értékelése alapján klaszterezés
Dimenziócsökkentés	Autoencoder alternatíva, valószínűségi megközelítésben
Hiányzó adat kitöltése	Rejtett rétegből újraépített bemenet segítségével

🧠 Deep learning építőelem: Deep Belief Network (DBN)

A DBN több RBM egymásra építéséből áll:

Első RBM megtanulja a bemenetet
Második RBM a rejtett kimenetet veszi bemenetként
És így tovább…

Ezzel mély hierarchiát lehet építeni, amely egyre összetettebb jellemzőket tanul meg.

✅ Előnyök

🔍 Mintafelismerés automatikusan – címke nélkül is
💾 Képtömörítés, adatredundancia csökkentés
🔄 Új adat generálása
🧠 Előtanítás (pretraining) más hálókhoz (pl. DNN)

⚠️ Hátrányok

🧮 Csak bináris értékekre optimalizált – más típusokra átalakítás kell
🐢 Tanítása nem mindig stabil, sok próbálkozást igényel (pl. tanulási ráta, CD lépések)
📉 Modern alternatívák jobbak (pl. autoencoder, variational autoencoder)

🧪 Kód példa: RBM scikit-learn használatával (skl v1.2 előtt volt elérhető)

from sklearn.neural_network import BernoulliRBM
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression

rbm = BernoulliRBM(n_components=64, learning_rate=0.01, n_iter=20)
logistic = LogisticRegression()

classifier = Pipeline(steps=[('rbm', rbm), ('logistic', logistic)])
classifier.fit(X_train, y_train)

Ez a példa egy RBM-en előtanított klasszifikálót hoz létre.

📊 Összefoglaló táblázat

Tulajdonság	Leírás
Típus	Generatív, valószínűségi modell
Struktúra	Bemeneti (látható) + rejtett réteg, kapcsolatok csak köztük
Tanítás	Gibbs-mintavételezés, contrastive divergence
Adat	Leginkább bináris, vagy binarizált
Előnye	Minták tanulása, hiányzó értékek kiegészítése
Modern utódok	Variational Autoencoder (VAE), GAN-ek

🧾 Összegzés

A Restricted Boltzmann Machine egy egyszerű, de hatékony eszköz címkézetlen adatok tanulására. Elsősorban dimenziócsökkentésre, új minták generálására és deep learning modellek előtanítására használják.

Bár manapság sok területen modernebb modellek (autoencoderek, GAN-ek) vették át a helyét, az RBM fontos történeti és elméleti mérföldkő a generatív modellek fejlődésében.

További információk

restricted Boltzmann machine - Szótár.net (en-hu)
restricted Boltzmann machine - Sztaki (en-hu)
restricted Boltzmann machine - Merriam–Webster
restricted Boltzmann machine - Cambridge
restricted Boltzmann machine - WordNet
restricted Boltzmann machine - Яндекс (en-ru)
restricted Boltzmann machine - Google (en-hu)
restricted Boltzmann machine - Wikidata
restricted Boltzmann machine - Wikipédia (angol)