activation function

Angol

activation function (tsz. activation functions)

(informatika, mesterséges intelligencia) Az activation function (magyarul: aktivációs függvény) a mesterséges neurális hálók egyik alapvető eleme, amely egy neuron kimenetét alakítja át a bemenetek súlyozott összegéből. Az aktivációs függvény határozza meg, hogy a neuron milyen mértékben “aktiválódik”, vagyis milyen jel kerül továbbításra a háló további rétegeibe.

Nemlinearitás bevezetése: Ha minden neuron lineáris függvényt használna, a háló egészében csak egy lineáris transzformáció jönne létre, így bármennyi réteg is lenne, a háló csak lineáris problémákat tudna megoldani.
Az aktivációs függvény teszi lehetővé, hogy a háló komplex, nemlineáris mintákat tanuljon meg.

Aktivációs függvény	Képlet	Jellemzők
Sigmoid	${\textstyle \sigma (x)={\frac {1}{1+e^{-x}}}}$	Kimenet 0 és 1 között, jól használható bináris osztályozásnál, de gradient eltűnéshez vezethet
Tanh (hiperbolikus tangens)	${\textstyle \tanh(x)={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	Kimenet -1 és 1 között, középre helyezett, de szintén okozhat gradient problémákat
ReLU (Rectified Linear Unit)	${\textstyle f(x)=\max(0,x)}$	Egyszerű, gyors, széles körben használt, de “halott neuronnal” lehet probléma
Leaky ReLU	${\textstyle f(x)=\max(0.01x,x)}$	ReLU továbbfejlesztett változata, kis lejtővel a negatív tartományban
Softmax	${\textstyle \sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j}e^{z_{j}}}}}$	Többosztályos kimenetekhez, valószínűségi értékeket ad

Rejtett rétegekben: általában ReLU vagy annak változatai.
Kimeneti rétegben: a probléma típusától függően (pl. sigmoid bináris osztályozáshoz, softmax többosztályos problémához).

Aktivációs függvény nélkül a neurális hálók csak lineáris modellek lennének.
A megfelelő aktiváció kiválasztása kritikus a háló hatékony tanulásához és teljesítményéhez.
Különböző függvények különböző problémákra optimálisak.