zum Directory-modus

Singulärwertzerlegung

Die Singulärwertzerlegung

Ein Problem der kleinsten Quadrate heißt schlecht konditioniert, wenn eine kleine Änderung der Regressormatrix G eine große Änderung der Regressionskoeffizienten a ^ nach sich zieht. Die Singulärwertzerlegung der Regressormatrix G sorgt dafür, dass die schlechte Konditionierung identifiziert und eliminiert werden kann.

Gegeben seien beobachtete Wertepaare ( x i , y i ) , i = 1 , 2 , , m . Es wird unterstellt, dass ein lineares Regressionsmodell der Form

y ^ = a 1 g 1 ( x ) + a 2 g 2 ( x ) + + a n g n ( x )

die Messdaten beschreibt. In der Matrixdarstellung lautet das Regressionsmodell

y = G a + e .

Die m × n Regressormatrix G wird nun folgendermaßen zerlegt.

G = P S Q T

Dabei sind P bzw. Q m × m bzw. n × n orthogonale quadratische Matrizen und S die m × n Diagonalmatrix

S = s 1 0 0 0 s 2 0 0 0 s n 0 0 0 .

Die Werte s i , i = 1 , 2 , , n mit

s 1 s 2 s n 0

sind die Singulärwerte der Matrix G . Die Zerlegung heißt Singulärwertzerlegung oder SV-Zerlegung. Der Rang r n der Matrix G ist die Anzahl der Singulärwerte, die nicht Null sind. Man identifiziert die Quadratsingulärwerte s i 2 , i = 1 , 2 , , n als die Eigenwerte der Normalmatrix G T G .

Beweis

Es gilt mittels

G T G Q = Q S T P T P S Q T Q = Q S T S ,

da P T P = I und Q T Q = I (Orthogonalität). Es folgt dann

G T G q i = s i 2 q i ,

wobei die zugehörigen Eigenvektoren q i der Eigenwerte s i 2 die Spaltenvektoren der Matrix Q sind.

Nun transformieren wir die Regressionsgleichung . Multipliziert man beide Seiten mit P T , so erhält man

P T y = P T G a + P T e .

Ersetzt man G durch die Singulärwertzerlegung , so ist

P T y = P T P S Q T a + P T e .

Da P orthogonal ist ( P T P = I ), erhält man

P T y = S Q T a + P T e

oder

y * = S a * + e * ,

wobei

y * = P T y , a * = Q T a und e * = P T e

sind. Man vergleicht dieses transformierte Regressionsmodell mit dem ursprünglichen Modell .

Die Summe der Quadrate der einfachen Abweichungen oder Fehlerfunktion ist

S * = ( e * ) T e * = ( y * - S a * ) T ( y * - S a * ) .

Sie ist gleich dem Wert S = e T e für das ursprüngliche Modell .

Beweis

Es gilt

S * = ( y * - S a * ) T ( y * - S a * ) = ( P T y - S Q T a ) T ( P T y - S Q T a ).

Aus erhält man

S Q T = P -1 G = P T G ,

da P orthogonal ( P -1 = P T ) ist. Also folgt

S * = ( P T y - P T G a ) T ( P T y - P T G a ) = ( y - G a ) T P P T ( y - G a ) = e T e = S ,

da P P T = I ist.

Wir suchen den Wert a * = a ^ * , der S ( a * ) minimiert. Diesen Wert liefern die Normalgleichungen

S T S a ^ * = S T y * .

Das System ist diagonal

s 1 2 0 0 0 s 2 2 0 0 0 s n 2 a ^ 1 * a ^ 2 * a ^ n * = s 1 y 1 * s 2 y 2 * s n y n * .

Und so ist die Lösung einfach gegeben durch

a ^ i * = y i * s i = p i y s i , i = 1 , 2 , , n ,

wobei p i der i -te Spaltenvektor der Matrix P ist. Der Lösungsvektor von ist folglich

a ^ = Q a ^ * .

Die Summe der Quadrate der einfachen Abweichungen ist

S * ( a * ) = i = 1 n ( y i * - s i a i * ) 2 + i = n +1 m ( y i * ) 2 .

Sie ist durch die Bedingung minimiert und hat den Minimumwert

S * ( a ^ * ) = i = n +1 m ( y i * ) 2 .

Der Lösungsvektor des Regressionsmodells ist also eine Linearkombination der Eigenvektoren der Normalmatrix G T G

a ^ = a ^ 1 * q 1 + a ^ 2 * q 2 + + a ^ n * q n = i = 1 n p i y s i q i .

Ist der Rang r der Matrix G kleiner als n , dann sind einige Singulärwerte gleich Null

s r +1 = = s n = 0

und G heißt singulär. In diesem Fall ist der Lösungsvektor gegeben durch

a ^ = a ^ 1 * q 1 + a ^ 2 * q 2 + + a ^ r * q r = i = 1 r p i y s i q i .

Er ist nicht eindeutig, da man eine beliebige Linearkombination der Eigenvektoren q i , r +1 i n zu ihm addieren darf

a ^ + α q r +1 + + γ q n ,

ohne den Minimumwert der Quadrate der einfachen Abweichungen

S * ( a ^ * ) = i = r +1 m ( y i * ) 2

zu ändern. Die Lösung besitzt aber den kleinsten Betrag.

Ist ein Singulärwert s k nicht Null aber sehr klein im Vergleich zu den anderen größeren Singulärwerten, dann hat er nur eine kleine Wirkung auf die Summe , aber eine große Wirkung auf den Lösungsvektor . Diese Tatsache weist darauf hin, dass das Lineargleichungssystem schlecht konditioniert ist. Die sehr kleinen Singulärwerte entstabilisieren den Lösungsvektor . Also setzt man alle Koeffizienten a i * , i = k , n gleich Null, bei denen die entsprechenden Singulärwerte unter einem angegebenen Wert liegen. Damit stellt die Singulärwertzerlegung eine Methode dar, um die wenig sinvollen Komponenten des Regressionsmodells zu identifizieren und herauszufiltern.

Die Kovarianzmatrix der Regressionskoeffizienten der kleinsten Quadrate a ^ ist

C = s 2 ( y ) G T G -1 = s 2 ( y ) i = 1 n q i q i T s i 2 ,

wobei

s 2 ( y ) = 1 m - n i = 1 m y i - y ^ i 2

die beste Schätzung der Varianz einer einzelnen Messung y i ist.

Beweis

Für die Normalmatrix gilt mittels

G T G = P S Q T T P S Q T = Q S T P T P S Q T = Q S T S Q T .

Folglich ist die inverse Normalmatrix G T G -1

G T G -1 = Q S T S Q T -1 = Q T -1 Q S T S -1 = Q S -1 S T -1 Q -1 = Q S S -1 Q T .

Dann ist

C = s 2 ( y ) i = 1 n q i q i T s i 2 .

Sind Singulärwerte erheblich kleiner als s ( y ) , dann sind die Fehler der Regressionskoeffizienten groß.

<Seite 1 von 1>