Neuronale Netze - komplett
Lineare Trennbarkeit (Linear Separability)
Das Konzept der linearen Trennbarkeit kann man am besten an einem einfachen Beispiel, dem bekannten XOR-Problem, demonstrieren. Man betrachte hierzu ein einstufiges Perzeptron-Netzwerk mit einem Ausgabeneuron in Ebene 1 und zwei Neuronen in Ebene 0. Die Ausgabe des Neurons soll 0 sein, falls seine binären Eingaben gleich sind () sonst soll sie 1 sein. Das heißt, damit ist, muss gelten:
Für ist dies äquivalent zu folgender Ungleichung:
Für einen konstanten Schwellenwert ergibt sich also eine Gerade in der durch und gebildeten Ebene (siehe (Abb. 1) , links). Alle Punkte oberhalb dieser Geraden stellen bei positivem Kombinationen von und dar, für die das Neuron feuert. Bei negativem sind alle Punkte unterhalb der Geraden Punkte, für die das Neuron feuert. Man beachte, dass diese Herleitung allgemein für reelle Aktivierungen gilt, bei binären Aktivierungen sind nur die mit , , und gekennzeichneten Eckpunkte des Einheitsquadrats möglich.
- Abb.2
- einschichtiges binäres Perzeptron
Klicken Sie das Ausgangsneuron an, um Schieberegler für Gewichte anzuzeigen. Die grüne Fläche rechts bezeichnet vom Perzeptron akzeptiertes Gebiet. In dem Applet wird nicht der Schwellenwert, sondern ein verstecktes ON-Neuron benutzt.
Ein neuronales Netz, welches das XOR-Problem lösen will, muss die Punkte und der einen Klasse zuordnen, die Punkte und der Klasse . Es ist offensichtlich, dass dies durch Verschiebung und Drehung einer einzigen Geraden, die den Eingaberaum linear separiert, nicht möglich ist. Es gilt also:
Die Mengen und des XOR-Problems sind nicht linear separierbar, d.h. es gibt keine Wertekombination von , und , für die für alle Punkte in und zugleich für alle Punkte in ist.
Bei Neuronen, die Eingaben in ein Neuron liefern, kann man den Raum der Eingaben als -dimensionalen Würfel darstellen (sofern die Eingabe auf beschränkt ist, sonst ist es der -dimensionale Raum). Das Neuron separiert diesen Eingaberaum durch eine -dimensionale Hyperebene. Für ist dies in (Abb. 1) rechts dargestellt. Allgemein gilt:
Ein einstufiges Perzeptron (d.h. ein Perzeptron mit nur einer Stufe modifizierbarer Gewichte) kann nur linear separierbare Mengen, d.h. Mengen, die durch eine Hyperebene trennbar sind, klassifizieren.
Für praktische Anwendungen stellt sich damit die Frage, wie häufig reale Probleme linear separierbar sind. Da dies vom Problem und der gewählten Codierung abhängt, kann man diese Frage nicht allgemein beantworten. Von sehr vielen Problemen weiß man aber oder vermutet man, dass sie nicht linear separierbar sind. Es gibt auch eine theoretische Untersuchung von Widner, der die Anzahl der linear separierbaren Funktionen unter allen möglichen binären Funktionen von Eingabeneuronen untersucht hat. Er hat festgestellt, dass ihr Prozentsatz mit wachsendem sehr schnell abnimmt.
- Tab.1
- Zahl der binären Funktionen von Eingaben und Zahl der linear separierbaren Funktionen
n | Anzahl der binären Funktionen von n Eingaben | Anzahl der davon linear separierbaren Funktionen |
---|---|---|
Fazit
Als Fazit bleibt, dass einstufige Perzeptrons nur für sehr einfache Aufgaben mit einer geringen Zahl von Eingaben pro Zelle geeignet sind.