backpropagation through time

Angol

Főnév

backpropagation through time (tsz. backpropagation through times)

(informatika, mesterséges intelligencia) Backpropagation Through Time (BPTT) egy olyan tanulási algoritmus, amelyet rekurrens neurális hálózatok (RNN-ek) betanítására használnak. Az algoritmus a klasszikus backpropagation (visszaterjesztés) időbeli kiterjesztése: mivel az RNN-ek idősorozatokat dolgoznak fel, a hálózatnak nem csak a jelenlegi, hanem a korábbi állapotok is befolyásolják a kimenetét.

🧠 Mi az alapötlet?

Egy RNN úgy működik, hogy belső memóriát (állapotot) tart fenn, amit minden időlépésben frissít. Ez lehetővé teszi, hogy sorozatos adatokat (pl. szöveg, időjárás, szenzoradatok) elemezzen.

Ahhoz, hogy tanuljon:

A hálózat előrefelé halad egy időbeli szekvencián, és kiszámítja az állapotokat és kimeneteket.
Ezután az összes időlépésen visszamenve hajtja végre a gradiensszámítást – ezt nevezzük Backpropagation Through Time-nak (BPTT).

🔁 Működés lépésről lépésre

1. Előrehaladás (Forward pass)

Egy bemeneti sorozat: ${\textstyle x_{1},x_{2},\dots ,x_{T}}$

Minden időlépésben:

Bemenet: ${\textstyle x_{t}}$
Rejtett állapot: ${\textstyle h_{t}=f(W_{h}h_{t-1}+W_{x}x_{t}+b)}$
Kimenet: ${\textstyle y_{t}=g(W_{y}h_{t}+c)}$

Az RNN újrahasználja a súlyokat ${\textstyle W_{x},W_{h},W_{y}}$ minden időlépésben.

2. Veszteség (Loss) kiszámítása

A veszteség lehet az időlépéseken összegezve:

$L=\sum _{t=1}^{T}{\mathcal {L}}(y_{t},{\hat {y}}_{t})$

3. Visszaterjesztés az időben (BPTT)

A hálózatot “kinyitjuk” T időlépésen keresztül, mintha egy mély feedforward hálózat lenne, ahol minden réteg megfelel egy időpillanatnak.

Ezután a klasszikus gradiensszámítást alkalmazzuk:

Visszaszámolva ${\textstyle t=T\rightarrow 1}$
A gradiens terjedését befolyásolja a rejtett állapot kapcsolata a korábbi állapotokkal

A súlyfrissítés a gradiensösszegzések alapján történik.

🔄 Truncated BPTT

Mivel az időlépések száma nagy lehet, gyakran nem célszerű teljes hosszban végrehajtani a visszaterjesztést.

Ezért használjuk a truncated BPTT-t:

Csak egy fix hosszú szegmenset nézünk vissza, pl. ${\textstyle k}$ időlépésig
Ez gyorsabb, de nem látja a hosszú távú összefüggéseket

⚠️ Nehézségek

1. Gradient vanishing/exploding

Hosszú sorozatoknál a visszaterjesztett gradiens túl kicsi vagy túl nagy lehet.
Ez nehézzé teszi a hosszú távú függőségek megtanulását.
Megoldások: LSTM, GRU, gradient clipping

2. Súlymegosztás

A súlyok ugyanazok minden időlépésben – a tanulás szinkronban zajlik az egész szekvencián

📈 Képletek összefoglalva

Rejtett állapot:

$h_{t}=\phi (W_{h}h_{t-1}+W_{x}x_{t})$

Kimenet:

$y_{t}=W_{y}h_{t}$

Összveszteség:

$L=\sum _{t=1}^{T}{\mathcal {L}}(y_{t},{\hat {y}}_{t})$

Gradiens visszaterjesztése:

${\frac {\partial L}{\partial W_{h}}}=\sum _{t=1}^{T}{\frac {\partial L}{\partial h_{t}}}\cdot {\frac {\partial h_{t}}{\partial W_{h}}}$

És mivel ${\textstyle h_{t}}$ függ ${\textstyle h_{t-1}}$ -től, a gradiens láncolva visszaterjed az időben.

🔧 Alkalmazási területek

🔤 Természetes nyelvfeldolgozás: gépi fordítás, szövegkiegészítés
🧠 Idősoros előrejelzés: pénzügy, szenzoradatok
🕹️ Gépi tanulás játékokban: múltbeli állapotok hatása
🎼 Zenei/ritmus-generálás: előző jegyek hatása

🧩 TL;DR

Backpropagation Through Time (BPTT) az RNN-ek tanítására szolgáló algoritmus, amely a klasszikus backpropagation időbeli kiterjesztése. Az algoritmus úgy működik, hogy az RNN-t kinyitja idő szerint, és a gradiensszámítást az összes múltbéli időlépésre visszaterjeszti.

További információk

backpropagation through time - Szótár.net (en-hu)
backpropagation through time - Sztaki (en-hu)
backpropagation through time - Merriam–Webster
backpropagation through time - Cambridge
backpropagation through time - WordNet
backpropagation through time - Яндекс (en-ru)
backpropagation through time - Google (en-hu)
backpropagation through time - Wikidata
backpropagation through time - Wikipédia (angol)