Richard S. Sutton

Angol

Richard S. Sutton (tsz. Richard S. Suttons)

(informatika) Richard S. Sutton kanadai számítógép-tudós, aki a megerősítéses tanulás (reinforcement learning, RL) egyik úttörője és legfontosabb alakja. Munkája jelentős hatással volt a mesterséges intelligencia (MI) fejlődésére, különösen olyan területeken, mint a robotika, a természetes nyelvfeldolgozás és a játékügynökök fejlesztése.

Tanulmányok: Sutton pszichológiából szerzett alapképzést (B.A.) a Stanford Egyetemen (1978), majd számítógép-tudományból M.S. és Ph.D. fokozatot szerzett az Massachusettsi Egyetemen Amherstben (1980, 1984), Andrew Barto irányítása alatt.
Munkahelyek: Jelenleg a University of Alberta számítástechnikai tanszékének professzora, illetve az Alberta Machine Intelligence Institute (Amii) tudományos tanácsadója. Dolgozott többek között a GTE Laboratories-nál, az AT&T Shannon Laboratories-nál, valamint a DeepMindnál, ahol 2017-ben társalapítója volt az edmontoni irodának.

Temporal Difference (TD) tanulás: Sutton kifejlesztette a TD tanulás módszerét, amely lehetővé teszi, hogy az ügynökök hiányos tapasztalatokból is hatékonyan tanuljanak úgy, hogy jelenlegi becslésekből „bootstrappingelnek”. Ez a módszer kulcsfontosságú az elhalasztott jutalmak kezelésében.
Actor-Critic architektúra: Doktori dolgozatában mutatta be az actor-critic modellt, amelyben az „actor” dönt az akciókról, míg a „critic” értékeli azokat. Ez a modell alapja sok mai policy gradient algoritmusnak.
Dyna architektúra: Javasolt egy olyan keretrendszert, amely ötvözi a tanulást, tervezést és reagálást, lehetővé téve az ügynök számára, hogy szimulált tapasztalatok alapján is tanuljon.
Policy gradient módszerek: Sutton kulcsszerepet játszott a policy gradient módszerek fejlesztésében, amelyek segítségével összetett, magas dimenziós akcióterekben is hatékonyan lehet tanítani az ügynököket.
Könyv: Andrew Bartóval közösen írták meg a „Reinforcement Learning: An Introduction” című tankönyvet, amely a megerősítéses tanulás alapvető műve és világszerte az egyik legfontosabb szakirodalom.

2025 Turing-díj: Sutton és Barto megkapták a számítástechnika „Nobel-díjának” számító A.M. Turing-díjat a megerősítéses tanulás úttörő fejlesztéseiért.
Egyéb elismerések: Sutton tagja a Royal Society-nek (2021), a Royal Society of Canada-nak (2016), valamint az AAAI (Association for the Advancement of Artificial Intelligence) Fellowja (2001).