Bestandteile neuronaler Netze

Neuronale Netze bestehen im Allgemeinen aus folgenden Komponenten:

Zellen (Neuronen, Elementen, units)

Diese Zellen besitzen die Bestandteile:

Aktivierungszustand (activation) $a_j\left(t\right)$

Er gibt den Grad der Aktivierung der Zelle an.

Aktivierungsfunktion $f_{\text{act}}$

Sie gibt an, wie sich ein neuer Aktivierungszustand $a_j\left(t+1\right)$ des Neurons $j$ aus der alten Aktivierung $a_j\left(t\right)$ und der Netzeingabe (net input) ${\mathrm{net}}_j\left(t\right)$ ergibt, meist nach der allgemeinen Formel in Gleichung , wobei ${\theta }_j\left(t\right)$ der Schwellenwert des Neurons $j$ ist und $f_{\text{act}}$ die Aktivierungsfunktion, die aus den angegebenen Parametern die neue Aktivierung berechnet.$$a_j\left(t+1\right)=f_{\text{act}}\left(a_j\left(t\right),{\mathrm{net}}_j\left(t\right),{\Theta }_j\right)$$

Ausgabefunktion $f_{\text{out}}$

Die Ausgabe der Zelle $j$ wird durch eine sogenannte Ausgabefunktion aus der Aktivierung der Zelle bestimmt.$$o_j=f_{\text{out}}\left(a_j\right)$$

Verbindungsnetzwerk der Zellen

Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen. Das Gewicht (weight) der Verbindung von Zelle $i$ nach Zelle $j$ wird hier durch $w_{ij}$ bezeichnet. Man beachte die Reihenfolge der Indizes, weil es zwei gegensätzliche Konventionen der Schreibweise gibt. Die Matrix der Verbindungen aller Zellen (Gewichtsmatrix) wird dann mit $W$ bezeichnet.

Propagierungsfunktion

Sie gibt an, wie sich die Netzeingabe eines Neurons aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten berechnet. Die Netzeingabe ${\mathrm{net}}_j\left(t\right)$ von Zelle $j$ berechnet sich nach Gleichung aus der Summe der Ausgaben $o_i\left(t\right)$ der Vorgängerzellen multipliziert mit dem jeweiligen Gewicht $w_{ij}$ der Verbindung von Zelle $i$ nach Zelle $j$.$${\mathrm{net}}_j\left(t\right)=\sum _i{o}_i\left(t\right)\cdot w_{ij}$$

Lernregel

Die Lernregel ist ein Algorithmus, gemäß dem das neuronale Netz lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe zu produzieren. Lernen erfolgt in neuronalen Netzen meist durch Modifikation der Stärke der Verbindungen als Ergebnis der wiederholten Präsentation von Trainingsmustern. Oft wird dabei versucht, den Fehler zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle Trainingsmuster zu minimieren. Lernverfahren sind die interessantesten Komponenten der neuronalen Netze und daher ist ihnen der größte Teil dieser Einführung gewidmet.