zum Directory-modus

Neuronale Netze - komplett

Asynchrone Aktivierung

Bei diesen Modellen ändern einzelne Zellen ihre Werte zu verschiedenen Zeitpunkten. Wir betrachten hier nur Modelle, die keinen echten Zeitbegriff verwenden, sondern nur einen relativen Zeitbegriff nach der Ordnung der Berechnung der neuen Ausgabe. Schon dabei unterscheidet man wiederum verschiedene Modi:

Feste Ordnung (fixed order)
Hierbei gibt es eine feste Ordnung (z.B. nach interner, eindeutiger Nummer i der Neuronen). Neuron i berechnet dann seine neue Aktivierung a i und Ausgabe o i , bevor die nächste Zelle i + 1 dasselbe tut. Ein Lernzyklus ist dann ein Durchlauf über alle n Neuronen des Netzes in der Reihenfolge 1 , , n . Dieses Verfahren ist für feedforward-Netze das schnellste Verfahren, sofern die interne Nummer der Neuronen mit einer topologischen Sortierung übereinstimmt. Dies kann man häufig durch eine geschickte Generierung des Netzes erreichen.
Zufällige Ordnung (random order)
Hierbei wird zufällig ein Neuron i ausgewählt, dieses berechnet seine neue Aktivierung a i und Ausgabe o i , danach wird ein weiteres Neuron zufällig ausgewählt. Ein Lernzyklus ist dann die n -malige Durchführung dieses Schrittes. Man beachte, dass durch dieses Verfahren durch die zufällige Auswahl manche Neuronen in einem Zyklus mehrfach ihre neue Aktivierung und Ausgabe berechnen können, während andere überhaupt nicht ausgewählt werden. Dieses Verfahren wird daher selten eingesetzt, es war aber die theoretische Grundlage für die ersten Beweise der Stabilität von Hopfield-Netzen.
Zufällige Permutation (random permutation)
Dieser Modus funktioniert wie die zufällige Auswahl, nur wird hier eine (in jedem Zyklus neu bestimmte) Permutation aller n Neuronen für die Auswahl der Reihenfolge verwendet, die sicherstellt, dass jedes Neuron in einem Zyklus genau einmal seine neue Ausgabe berechnet. Auch dieses Verfahren hat das Problem, dass die Berechnung der zufälligen Permutation zeitaufwändig ist und im Allgemeinen die Reihenfolge der Berechnung der neuen Aktivierungen ungeschickt ist.
Topologische Ordnung (topological order)
Dieser Modus ist für feedforward-Netze der günstigste Modus. Die Neuronen berechnen ihre neue Aktivierung nach einer topologischen Ordnung, welche durch die Netztopologie gegeben ist, d.h. Eingabeneuronen zuerst, dann erste verdeckte Schicht, usw. bis zur Ausgabe. Ein Lernzyklus ist hier definiert als ein Durchlauf durch alle n Neuronen des Netzes nach der angegebenen topologischen Ordnung. Sogenannte shortcut connections, also Verbindungen, die Schichten überspringen, sind kein Problem, jedoch muss das Netz zyklenfrei sein. Dies wird durch eine topologische Sortierung des Netzwerk-Graphen von manchen Netzwerksimulatoren, z.B. 1) (Stuttgart Neural Network Simulator) automatisch überprüft. Da diese Überprüfung nur einmal erfolgen muss, ist ihr Zeitbedarf nicht entscheidend.

Diese dynamischen Eigenschaften sind in erster Linie für die Vorwärtspropagierung entscheidend. Die meisten Lernverfahren legen eines dieser Propagierungsschemata fest. Backpropagation für feedforward-Netze setzt beispielsweise durch seine Gleichungen voraus, dass die topologische Ordnung verwendet wird.

1):
Seite 18 von 33