最小二乗法 Least Squares Optimization について - 大人になってからの再学習

最小二乗法 Least Squares Optimization についての備忘録。

目的関数が「○○の二乗」の和で表されるような最適化問題を Least squares (LS) problem と言う。ユークリッド距離と密接な関係があって、簡単な方法で解くことができる。

例えば（なんとか1）^2 + （なんとか2）^2 + （なんとか3）^2 + ・・・+（なんとかn）^2 で表されるような値を最小化したい。という問題は簡単に解ける。
なので、問題をこのような形で表現できるとよい。

もう少し具体的に書くと、次のような感じ。
$\min_x \sum_{i=1}^m(a_{i1}x_1+a_{i2}x_2+\cdots + a_{in}x_n-\beta_i)^2$
aとβは問題設定から定まる値で、答えとしてはx_nのそれぞれの値（つまりベクトルx）を求めたい。

これは行列表現を使うと次のように書ける。Aはmxn行列。
$\min_x ||Ax-b||^2$

これを満たすxは次の式も満たす
$A'Ax=A'b$

なので、次の行列演算で解が求まる
$x=(A'A)^{-1}A'b$