Hopfield network

Angol

Főnév

Hopfield network (tsz. Hopfield networks)

(informatika) A Hopfield-hálózat egy rekurzív, teljesen összekapcsolt neurális hálózat, amely memóriaként működik: képes minták tárolására és visszakeresésére akár zajos vagy hiányos bemenetből. A háló dinamikusan változik, amíg el nem éri valamely stabil állapotát (minimum energiát).

Ezt a hálót John Hopfield mutatta be 1982-ben, és azóta a tartós emlékek és asszociatív memória modellezésének klasszikus példája lett.

🧩 Fő jellemzők

Tulajdonság	Részletek
Teljesen összekötött	Minden neuron minden másikhoz kapcsolódik (önmagához nem)
Szimmetrikus súlyok	${\textstyle w_{ij}=w_{ji}}$ – így biztosítható energiafüggvény
Bináris neuronok	Állapotuk tipikusan ${\textstyle -1}$ vagy ${\textstyle +1}$ (néha 0 vagy 1)
Dinamika	Iteratívan frissíti az állapotokat addig, amíg stabil nem lesz
Energiaminimumra törekszik	A rendszer “lecsúszik” egy helyi minimum felé, mint egy golyó egy tálban

⚙️ Működés elve

A háló célja, hogy egy bemenet alapján eljusson a hozzá legközelebb eső tanult mintához.

Tanítás – a kívánt minták súlymátrixba történő „beleégetése”
Futtatás – egy kezdeti állapotból (pl. zajos minta) elindítva frissítjük a neuronok állapotát
Konvergencia – a hálózat eljut egy stabil állapotba (lokális minimum)

📘 Energiafüggvény

A háló minden állapotához rendel egy energiaértéket:

$E(\mathbf {s} )=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}+\sum _{i}\theta _{i}s_{i}$

ahol:

${\textstyle s_{i}}$ a ${\textstyle i}$ -edik neuron bináris állapota
${\textstyle w_{ij}}$ a kapcsolatok súlya
${\textstyle \theta _{i}}$ a küszöbérték (bias)

A háló úgy frissíti az állapotokat, hogy az energia folyamatosan csökken, így végül egy minimum-energiájú állapotban stabilizálódik.

🔁 Állapotfrissítés

A neuronok frissítése lehet:

szinkron: minden neuront egyszerre frissítünk
aszinkron (gyakoribb): egyesével, véletlenszerű sorrendben frissítjük őket:

$s_{i}^{\text{new}}={\begin{cases}+1,&{\text{ha }}\sum _{j}w_{ij}s_{j}\geq \theta _{i}\\-1,&{\text{különben}}\end{cases}}$

Ez a döntés biztosítja az energia csökkenését minden lépésben.

🧮 Tanítás – Hebb-szabály

Az egyszerű Hopfield-háló nem tanul online módon, hanem a súlyokat közvetlenül a tanuló minták alapján számítjuk:

$w_{ij}={\frac {1}{N}}\sum _{p=1}^{P}s_{i}^{(p)}s_{j}^{(p)},\quad w_{ii}=0$

${\textstyle N}$ : neuronok száma
${\textstyle P}$ : megtanulandó minták száma
${\textstyle s^{(p)}}$ : a ${\textstyle p}$ -edik minta bináris állapota

Ez a Hebbiánus tanulás, közismert elv: “azok a neuronok, amelyek együtt tüzelnek, együtt kapcsolódnak.”

🎯 Mire képes a Hopfield-hálózat?

Mintafelismerés zajos adatokból Pl. egy hiányos vagy torzított bináris kép visszaállítása
Asszociatív memória Egy minta „emlékezteti” a hálót a tanult mintára
Stabil állapotkeresés Egy rendszer „kiegyensúlyozott” állapotát keresi meg

🔬 Példa: 3-bit memória

Tanítsuk meg a hálónak ezt a két mintát:

$A=[+1,-1,+1]\quad B=[-1,+1,-1]$

Ekkor a súlymátrix:

$W={\frac {1}{3}}(A\cdot A^{T}+B\cdot B^{T})$

Ezután bármilyen bemeneti vektor, ami „hasonlít” A-ra vagy B-re, eljut majd az egyikhez.

✅ Előnyök

Egyszerű implementáció
Stabil, konvergens viselkedés
Mintatárolás és asszociatív visszakeresés
Biológiai inspiráció (agyi emlékezés analógja)

⚠️ Hátrányok

Korlát	Magyarázat
Kapacitáskorlát	Legfeljebb ~0,15 * N minta tárolható hiba nélkül (N: neuronok száma)
Túl sok minta	Zavar: rossz stabil pontokra konvergálhat (hamis emlékek)
Bináris működés	Csak -1/+1 állapotokat kezel klasszikusan
Nehéz bővíthetőség	Nem méretezhető nagy rendszerekre jól

🛠️ Kód példa (Python)

import numpy as np

def sign(x):
    return np.where(x >= 0, 1, -1)

class HopfieldNet:
    def __init__(self, size):
        self.size = size
        self.weights = np.zeros((size, size))

    def train(self, patterns):
        for p in patterns:
            self.weights += np.outer(p, p)
        np.fill_diagonal(self.weights, 0)
        self.weights /= len(patterns)

    def recall(self, pattern, steps=5):
        s = pattern.copy()
        for _ in range(steps):
            for i in range(self.size):
                raw = np.dot(self.weights[i], s)
                s[i] = 1 if raw >= 0 else -1
        return s

🔗 Kapcsolódó fogalmak

Fogalom	Rövid leírás
Hebb-szabály	Tanulási elv: együtt aktív neuronok erősítik kapcsolatukat
Energy-based model	A tanulás és döntés energiafüggvény minimalizálásán alapul
Hopfield vs RBM	Hopfield determinisztikus és asszociatív, RBM sztochasztikus és generatív
Autoasszociáció	A bemenet saját magához hasonlót keres – önfelismerés

🧾 Összefoglalás

Tulajdonság	Részletek
Típus	Rekurzív, bináris, energia-alapú neurális hálózat
Cél	Minták tárolása és visszakeresése (asszociatív memória)
Tanulás	Hebbiánus szabály szerint, nem tanul online
Frissítés	Állapotfrissítés energia minimalizálás szerint
Előnye	Egyszerű, stabil, klasszikus emlékmodell
Hátránya	Alacsony kapacitás, bináris korlátok, nem skálázható jól

További információk

Hopfield network - Szótár.net (en-hu)
Hopfield network - Sztaki (en-hu)
Hopfield network - Merriam–Webster
Hopfield network - Cambridge
Hopfield network - WordNet
Hopfield network - Яндекс (en-ru)
Hopfield network - Google (en-hu)
Hopfield network - Wikidata
Hopfield network - Wikipédia (angol)