structured prediction

Angol

Főnév

structured prediction (tsz. structured predictions)

(informatika) A structured prediction (magyarul: strukturált predikció) a gépi tanulás egy olyan speciális típusa, ahol nem egyetlen kimeneti értéket kell megjósolni, hanem összetett, egymással kapcsolatban álló kimeneti struktúrát – például:

szekvenciát,
fát,
gráfot,
vagy más strukturált objektumot.

📦 Példák a valós életből

Alkalmazás	Kimeneti struktúra
Beszédfelismerés	Szó- vagy hangszekvencia
Mondatértelmezés	Syntaktikai fa (pl. függőségi elemzés)
Névelemfelismerés	Címkék sorozata (pl. [John] → PERSON)
Gépi fordítás	Fordított mondatszekvencia
Képfeldolgozás	Pixel-címkézési mátrix (pl. szegmentáció)
Bioinformatika	DNS-szekvencia struktúrája

🔍 Miben más, mint a hagyományos gépi tanulás?

A hagyományos predikció (pl. klasszifikáció, regresszió) egy értéket jósol meg:

pl. egy e-mail SPAM vagy NEM-SPAM

A structured prediction esetében a kimenet összetett, elemei függnek egymástól:

pl. egy szöveg minden szavához címkét kell rendelni úgy, hogy a címkék egymással logikusan összefüggjenek

📐 A struktúra típusa lehet:

Szekvencia – időben vagy térben egymás utáni elemek (pl. mondat)
Fa – például szintaxisfa egy nyelvtani elemzésnél
Gráf – például képszegmentálás, entitáskapcsolatok

🧮 Formális modell

A cél egy olyan függvény megtanulása:

$f(x)=y$

ahol:

${\textstyle x}$ : bemeneti minta (pl. szöveg, kép)
${\textstyle y}$ : komplex kimeneti struktúra (pl. címkék sorozata, fa)

A predikció során az algoritmus azt a kimeneti struktúrát keresi, amely maximalizálja egy értékelőfüggvényt:

${\hat {y}}=\arg \max _{y}\,{\text{score}}(x,y)$

Ez gyakran kombinatorikus keresési probléma (nagyon sok lehetséges kimeneti struktúra van).

🛠️ Alapvető algoritmusok

Módszer	Rövid leírás
Conditional Random Fields (CRF)	Címkék sorozatának modellezésére – figyelembe veszi a szomszédos címkéket
Structured SVM (SSVM)	Margin maximalizálás strukturált kimenetekre
Recurrent Neural Networks (RNN)	Szekvenciális tanulás (pl. LSTM, GRU)
Transformer-alapú modellek	Bonyolult struktúrák tanulására (pl. BERT, T5)
Graph Neural Networks (GNN)	Gráf-struktúrák esetén (pl. molekulák, hálózatok)

📘 Példa: névelem-felismerés (NER)

Feladat: szavakhoz rendeljük hozzá, hogy személynév, szervezet, hely, stb.

Bemenet: ["John", "Smith", "visited", "London"]

Kimenet: ["B-PER", "I-PER", "O", "B-LOC"]

Ez strukturált kimenet, mert a címkék között szekvenciális függés van: ha egy szó “B-PER”, a következő valószínűleg “I-PER”.

🧪 Structured SVM – röviden

A klasszikus SVM-et kiterjeszti strukturált kimenetekre:

Cél: egy olyan súlyvektor megtalálása, amely nagy margót tart a helyes és helytelen struktúrák között
Minden lehetséges ${\textstyle y}$ kimenethez számít egy score-t
A tanulás során a rossz kimeneteket eltolja, a jót megtartja

✨ CRF – Conditional Random Field

A CRF egy probabilisztikus modell, amely jól használható szekvencia-címkézési feladatokhoz.

Minden szóhoz nemcsak a saját jellemzői számítanak, hanem a szomszédos szavakhoz tartozó címkék is
Például: ha egy címke “B-ORG”, akkor az utána következő valószínűleg “I-ORG”

A CRF globálisan optimalizálja a címkesorozatot.

🎯 Kihívások structured prediction esetén

Kihívás	Magyarázat
Nagy keresési tér	Nagyon sok lehetséges kimeneti struktúra létezik
Kimeneti függések	A kimeneti elemek nem függetlenek – egymást befolyásolják
Tanítás nehézsége	A tanulási célfüggvény komplex, nem mindig konvex
Pontosság vs sebesség	A pontos modell gyakran lassú – kompromisszum kell

✅ Előnyök

🔍 Jobb általánosítás összetett problémákra
🔗 Kapcsolatot tanul a kimeneti változók között
🧠 Részletesebb, kontextusérzékeny válaszok
💬 Nyelvi alkalmazásokban természetes struktúrákhoz illeszkedik

⚠️ Hátrányok

🐢 Lassú tanítás és inferencia komplex struktúráknál
🧮 Nehéz optimalizálni a sokdimenziós kimeneteket
📈 Nagy mintaigény jó általánosításhoz
❗ Nehezebben értelmezhető modellek (főleg neurálisak)

🛠️ Python példa: CRF (sklearn-crfsuite)

import sklearn_crfsuite

crf = sklearn_crfsuite.CRF(
    algorithm='lbfgs',
    c1=0.1, c2=0.1,
    max_iterations=100,
    all_possible_transitions=True
)

crf.fit(X_train, y_train)
predictions = crf.predict(X_test)

📚 Structured prediction modellek a gyakorlatban

Modell	Feladat
CRF	Szekvenciacímkézés, POS-tagging
BiLSTM + CRF	NER, chunking, szekvenciaelemzés
Transformer	Fordítás, kérdésválaszolás
GNN	Molekulamodellezés, szociális gráfok

🧾 Összefoglalás

Fogalom	Leírás
Structured prediction	Olyan tanulási feladat, ahol a kimenet összetett és egymással összefüggő elemekből áll
Alkalmazás	Szövegfeldolgozás, fordítás, szegmentálás, képelemzés
Algoritmusok	CRF, Structured SVM, RNN, Transformer, GNN
Előnyök	Kontextusérzékeny, gazdagabb kimenetek
Kihívás	Bonyolult tanítás, sok kimeneti lehetőség, optimalizálási nehézségek

További információk

structured prediction - Szótár.net (en-hu)
structured prediction - Sztaki (en-hu)
structured prediction - Merriam–Webster
structured prediction - Cambridge
structured prediction - WordNet
structured prediction - Яндекс (en-ru)
structured prediction - Google (en-hu)
structured prediction - Wikidata
structured prediction - Wikipédia (angol)