zum Directory-modus

Tutorial MenueNeuronale Netze - Eine EinführungLerneinheit 2 von 5

Konzepte des Konnektionismus

Beispiel eines Netzes: XOR-Netzwerk mit vier Zellen

Als erstes Beispiel eines kleinen neuronalen Netzes soll gleich eines der bekanntesten Netze verwendet werden, das sogenannte XOR-Netzwerk mit vier Zellen. Es ist deshalb so beliebt, weil es mit binären Aktivierungen funktioniert, klein genug ist, um im Kopf durchgerechnet werden zu können und gleichzeitig ein Beispiel eines Netzes darstellt, das mindestens eine Schicht verdeckter Neuronen braucht, um seine Aufgabe bewältigen zu können.

Abb.1
Neuronales Netz mit vier Zellen für das XOR-Netzwerk

Dieses Netzwerk benötigt nur binäre Werte 0 und 1 für die Aktivierungen der Neuronen. Es verwendet die standardmäßige Propagierungsfunktion zur Berechnung der Netzeingabe (Gleichung ) und eine binäre Schwellenwertfunktion als Aktivierungsfunktion des einen verdeckten Neurons und des Ausgabeneurons (Gleichung ).

net j t = i o i t w i j
a j t = 1 falls net j t Θ j 0 sonst

Die Ausgabefunktion dieser Neuronen ist die Identität, d.h. o j t = a j t .

Die Eingabeneuronen leiten hier, wie in vielen anderen neuronalen Modellen auch, die von außen angelegte Eingabe unverändert weiter, sie besitzen also als Aktivierungs- und Ausgabefunktion die Identitätsfunktion und einen Schwellenwert von Null.

W = w 1 1 w 1 4 w 4 1 w 4 4 = 0 0 1 1 0 0 1 1 0 0 0 2 0 0 0 0

Man sieht hier leicht, dass die Gewichtsmatrix durch Gleichung gegeben ist. In diesem Netzwerk ist der Schwellenwert (bias) der Neuronen für das einzelne Neuron der verdeckten Schicht und das Ausgabeneuron direkt in den Neuronen eingetragen. Man kann leicht nachrechnen, dass für alle vier möglichen Eingabekombinationen von 0 und 1 als Ausgabe von Zelle 4 jeweils der richtige Wert berechnet wird, der einem binären XOR entspricht (Boole'sche XOR-Verknüpfung o 1 o 2 = o 4 ).

Tab.1
Netzeingaben und Ausgaben der Neuronen beim XOR-Netzwerk.
o 1 o 2 net 3 Θ 3 o 3 net 4 Θ 4 o 4
00 net 3 = 0 1 + 0 1 = 0 1,50 net 4 = 0 1 + 0 1 + 0 2 = 0 0,50
01 net 3 = 0 1 + 1 1 = 1 1,50 net 4 = 0 1 + 1 1 + 0 2 = 1 0,51
10 net 3 = 1 1 + 0 1 = 1 1,50 net 4 = 1 1 + 0 1 + 0 2 = 1 0,51
11 net 3 = 1 1 + 1 1 = 2 1,51 net 4 = 1 1 + 1 1 + 1 2 = 0 0,50

Man beachte, dass dieses Netzwerk zwar ein mehrstufiges feedforward-Netz ist, jedoch nicht von der vorher beschriebenen Art einer ebenenweise vollständig verbundenen Topologie, weil die Eingaben direkt mit dem Ausgabeneuron verbunden sind. Solche Verbindungen, die Ebenen überspringen, bezeichnet man auch als shortcut connections .

Seite 4 von 9