zum Directory-modus

Neuronale Netze - komplett

Lineare Aktivierungsfunktionen

Bei der Verwendung linearer Aktivierungsfunktionen sind Netzwerke mit mehreren Ebenen nicht sinnvoll, weil sie durch ein Netzwerk mit nur zwei Ebenen (Eingabe, Ausgabe) mit einer Ebene von (anderen) Gewichten realisiert werden können.

Zum Beweis dieser Aussage zeigt man, dass ein lineares zweistufiges Netzwerk (mit drei Ebenen Neuronen und zwei Ebenen trainierbarer Gewichte) durch ein äquivalentes einstufiges Netzwerk (mit zwei Ebenen Neuronen und einer Ebene trainierbarer Gewichte) ersetzt werden kann. Sei O i der Vektor der Ausgaben der Ebene i für i = 1 3 und sei W i j die Verbindungsmatrix aller Verbindungen von Ebene i nach Ebene j . Es handelt sich um lineare Neuronen, d.h. o i = c i net i = net i c i . Wir zeigen, dass sich der Ausgabevektor O 3 als O 3 = O 1 W 1 3 C 3 darstellen lässt mit geeignet gewählter Gewichtsmatrix W 1 3 , also als Matrixmultiplikation einer Gewichtsmatrix W 1 3 mit der Ausgabe der ersten Ebene Neuronen und anschließender Skalierung.

Hierbei sind die C i Diagonalmatrizen, welche die Skalierung der linearen Funktion durchführen und W 1 3 = W 1 2 C 2 W 2 3 (Matrixmultiplikation).

Abb.1
Zweistufiges und einstufiges Netzwerk

Links ist das zweistufige Netzwerk abgebildet, rechts das äquivalente einstufige Netzwerk.

Es wird die Äquivalenz eines einstufigen Netzes mit einem mehrstufigen linearen Netz gezeigt. In diesem Beispiel wird die Identitätsfunktion als Aktivierungsfunktion verwendet.

Häufig werden bei linearen Netzwerken auch alle Konstanten c i = 1 gewählt, so dass einfach die beiden Gewichtsmatrizen zu multiplizieren sind. Dies entspricht der Identität als Aktivierungsfunktion.

Beispiel

Es seien folgende Matrizen gegeben:

W 1 2 = 0,6 0,2 0,3 0,2 0,4 0,3 C 2 = 1 0 0 1 W 2 3 = 0,2 0,3 0,4 0,4 0,2 0,3

Damit ergibt sich folgender Zusammenhang:

W 1 3 = 0,6 0,2 0,3 0,2 0,4 0,3 0,2 0,3 0,4 0,4 0,2 0,3 = 0,20 0,14 0,30 0,02 0,13 0,06 0,04 0,18 0,07

Man beachte, dass die Aktivierungsfunktionen der Eingabeneuronen und der Ausgabeneuronen nicht in die Berechnung der Ersatzgewichte eingehen und daher auch nichtlinear sein können.

Seite 20 von 33