Hamilton–Jacobi–Bellman equation

Angol

Főnév

Hamilton–Jacobi–Bellman equation (tsz. Hamilton–Jacobi–Bellman equations)

(informatika) A Hamilton–Jacobi–Bellman-egyenlet (röviden HJB-egyenlet) egy parciális differenciálegyenlet, amely a dinamikus optimalizálás egyik alapeszköze. A HJB-egyenlet folyamatos idejű dinamikus rendszerek optimális vezérlésének leírására szolgál.

Központi szerepet játszik a vezérléselméletben, gazdasági döntések modellezésében, mesterséges intelligenciában, robotikában, valamint a dinamikus programozás folytonos változataiban.

Az egyenlet Richard Bellman nevéhez köthető, aki kidolgozta a dinamikus programozás elméletét. A HJB-egyenlet ezen módszer folyamatos idejű analógja.

2. Alapötlet

A HJB-egyenlet egy értékfüggvényt (value function) határoz meg, amely megadja az adott állapotból indulva elérhető maximális (vagy minimális) hozamot egy időhorizonton.

Az értékfüggvény:

$V(x,t)={\text{a legjobb elérhető érték, ha az }}x{\text{ állapotból indulunk }}t{\text{ időpontban}}$

3. Általános formája

Tegyük fel, hogy van egy vezérelt dinamikus rendszer:

${\dot {x}}(t)=f(x(t),u(t))$

ahol:

${\textstyle x(t)}$ az állapotvektor időben,
${\textstyle u(t)}$ az irányítás (vezérlés),
${\textstyle f}$ a rendszer dinamikája.

A cél, hogy minimalizáljuk a következő költségfüggvényt:

$J(x_{0})=\int _{0}^{T}L(x(t),u(t),t)\,dt+\phi (x(T))$

ahol:

${\textstyle L}$ a költségsűrűség (pl. energia, pénz, idő),
${\textstyle \phi }$ a végső állapot büntetése vagy jutalma,
${\textstyle T}$ a végső időpont.

Ekkor a Hamilton–Jacobi–Bellman-egyenlet:

$-{\frac {\partial V}{\partial t}}(x,t)=\min _{u\in U}\left[L(x,u,t)+\nabla V(x,t)\cdot f(x,u)\right]$

4. Mit jelent ez az egyenlet?

A HJB-egyenlet minden állapotra és időpontra megadja, hogyan viselkedjen az értékfüggvény, ha optimálisan cselekszünk.

Részei:

${\textstyle {\frac {\partial V}{\partial t}}}$ : az értékfüggvény idő szerinti változása
${\textstyle \nabla V\cdot f}$ : a gradiens (irányított derivált) szerinti változás
${\textstyle \min _{u}}$ : minden lehetséges vezérlés közül a legjobbat választjuk

5. Kapcsolat Bellman elvével

Bellman „optimalitás elve” szerint:

Az optimális politika bármely részszakasza is optimális az adott szakaszra nézve.

Ez diszkrét esetben dinamikus programozás, folytonos esetben HJB-egyenlet. Mindkettő célja: értékfüggvény építése a jövőre nézve.

6. Példa – klasszikus vezérlési probléma

Tegyük fel, hogy egy részecske mozgása a következő:

${\dot {x}}(t)=u(t)$

és a költség:

$J=\int _{0}^{T}\left[x(t)^{2}+u(t)^{2}\right]dt$

Cél: minimalizálni a pozíció és a vezérlés négyzetösszegét.

Ekkor a HJB-egyenlet:

$-{\frac {\partial V}{\partial t}}=\min _{u}\left[x^{2}+u^{2}+{\frac {\partial V}{\partial x}}\cdot u\right]$

A jobb oldal ${\textstyle u}$ -ra nézve kvadratikus. Optimalizálással:

${\frac {\partial }{\partial u}}(u^{2}+{\frac {\partial V}{\partial x}}u)=2u+{\frac {\partial V}{\partial x}}=0\Rightarrow u^{*}=-{\frac {1}{2}}{\frac {\partial V}{\partial x}}$

Behelyettesítve: megkapjuk az optimális vezérlést és visszafelé az optimális értékfüggvényt.

7. Alkalmazási területek

Mesterséges intelligencia (RL) – pl. érték-alapú tanulás, Q-learning
Robotika – akadálykerülés, energiaoptimalizált mozgás
Gazdaság – intertemporális fogyasztási problémák (pl. Ramsey-modell)
Pénzügy – portfólióoptimalizálás, opcióárazás
Biológia – anyagcserehálózatok optimális vezérlése

8. Numerikus megoldások

Mivel a HJB-egyenlet nemlineáris parciális differenciálegyenlet, általában nincs analitikus megoldás.

Numerikus megoldások:

Grid-alapú módszerek (diszkretizálás térben és időben)
Value Iteration (diszkrét idejű közelítések)
Neural PDE Solver (mélytanulással közelített értékfüggvények)
Pontryagin elv (másik megközelítés, indirekt módszer)

9. Különleges esetek

Stacionárius HJB: időfüggetlen probléma esetén

$0=\min _{u\in U}\left[L(x,u)+\nabla V(x)\cdot f(x,u)\right]$
Stochasztikus HJB: ha a rendszer dinamikája zajos

$-{\frac {\partial V}{\partial t}}=\min _{u}\left[L(x,u)+\nabla V\cdot f+{\frac {1}{2}}{\text{Tr}}(\sigma \sigma ^{T}\nabla ^{2}V)\right]$

10. Összefoglalás

A Hamilton–Jacobi–Bellman-egyenlet a vezérléselmélet és dinamikus programozás folytonos idejű alapegyenlete. Ez a képlet írja le azt az értékfüggvényt, amely megmondja, hogyan döntsünk optimálisan minden időpillanatban.

Összefoglaló kulcspontok:

A lehető legjobb vezérlés választására szolgál
A dinamikus programozás elvét alkalmazza folytonos rendszerekre
Nehéz megoldani analitikusan, de numerikus és tanulóalapú módszerekkel kezelhető
Széles alkalmazási területe van a tudományban, mérnöki és gazdasági területeken

További információk

Hamilton–Jacobi–Bellman equation - Szótár.net (en-hu)
Hamilton–Jacobi–Bellman equation - Sztaki (en-hu)
Hamilton–Jacobi–Bellman equation - Merriam–Webster
Hamilton–Jacobi–Bellman equation - Cambridge
Hamilton–Jacobi–Bellman equation - WordNet
Hamilton–Jacobi–Bellman equation - Яндекс (en-ru)
Hamilton–Jacobi–Bellman equation - Google (en-hu)
Hamilton–Jacobi–Bellman equation - Wikidata
Hamilton–Jacobi–Bellman equation - Wikipédia (angol)