最小二乗法(leastsquares fitting)


(x,f(x))なる点列にフィットする線(linear fitting of points(x,f(x))


例:で表される点列をでfittingさせることを考える。差の二乗を考えてそれが最小となるを求める。この「差の二乗」を考えるというのが、この方法の名前たるゆえんである。


最小値は、(合成関数の微分法により)

行列表現で書けば

あとは逆行列つかえばが求まる。


直交回帰を用いた点列にフィットする線(linear fitting of points using orthogonal regression)


以下の議論ではn次元での点列と線を考える。

直線:は単位ベクトル

点列:, ,と直交する単位ベクトル,は適当な係数

を起点として考えると計算がすんなりいきそうなので、とおく。

こいつを使って、からこの直線を法線とする平面への投影は


このベクトルの長さの二乗は

よって最小化すべきエネルギー関数は


これは次の二通りの書き方が出来る。

1.


2.



ちょっと補足が必要だろう。

1.は、に代入し、,だけで表したもの。

この式変形がわかりにくい人のために少しベクトルの計算をおさらいしておこう。ベクトルは行列の一種なので行列で成り立つものはベクトルでも成り立つが、ベクトル特有の法則がある。

1.(ただしxの各要素は実数であるとする→複素数に拡張するなら、転置ではなく、複素共役転置ベクトルを用いてと書く。複素共役転置ベクトルについても以下の3.の転置に公式とかが使える。しかし、当分関係ないのでこれ以上詳しくは立ち入らない。)

これを使えば、ベクトルの内積を行列の掛け算として書ける。行列の掛け算に変形すれば、行列の掛け算のさまざまな公式を使うことが出来るようになる。行列の掛け算に関する公式は以下のようなもの。

2.ただしは行列。

結合則。

3. , ,

転置してあるものを展開するのに重要な公式である。

4. , ただしは単位行列

は数字の1の行列のやつだと思うとわかりやすい。

5.ただし cはスカラー。

行列の掛け算に対して交換則。たとえば、はスカラーなのでこの部分に関しては交換則が成り立つ。例)

ただし、行列においては一般的には交換則は成り立たないことに注意。

6.

の形がベクトルの内積であることから、交換則が成り立つのは明らか。

7.

分配則。このへんは、実数の時のと同じなので説明はいらんでしょう。


よく使うのはそんだけ。これらを使うと、たとえば、

ベクトルの内積の2乗:

などと自在に変形できたりする。行列の結合則から、このの部分を先に計算することも許されることになる。このはなんじゃい、というと、これはが3次元のベクトルなら、は3×3の行列だ。テンソルなんて呼ばれることもある。

もうちょい練習。

ベクトルの和の2乗:

行列の積の2乗:

行列の和の2乗:


ちょっと前置きが長くなったが、問題の部分、計算してみよう。


行列の積の2乗の形になったので、↑の公式で展開してみる。


ところでなので


行列の分配則で

ところで、の部分、結合則からと計算してもいいはずだ。それで、は実のところ内積なので(は単位ベクトルなので)だったりする。となれば、


てなことになる。


2.のほうは、1.からの変形だ。の外に追い出すように外側に来るように変形する。


(...)の形でくくってしまいたいのだが、が邪魔だ。なので、これをかけても値は変わらない。あとはスカラーであることから、この部分で交換則が成り立って、とか出来てしまう。よって、



あと、このの中身はAをパラメータとする行列なのでM(A)と置くと



さて、式変形が終わったところで計算していこう。

1.はで微分すると


これはのときは、常に偏微分が0になる。つまり、, 早い話が点列の重心。


※ このベクトルの微分、少し説明がいるかも知れない。詳しいことはベクトル解析の教科書を見ればいいのだが、 ,(ただしはスカラ,はベクトル,は対称行列)などととかと同じ感覚で計算できることを言っておこう。あと、は対称行列であることにも注意か。


2.の式でを与えるとが決まる。は二次形式なので、この最小値は、のもっとも小さい固有値である。

※  これを行列Aに関する行列の二次形式(quadratic form)という。「主軸変換」でよく出てくる形だ。計算が簡略になるのでふつうはが対称行列と仮定する。これを仮定しても一般性を失わないし、これを仮定しないと行列からめて微分する時にややこしいからである。(さっきのみたいなの) またこれはの固有ベクトルの方向が主軸となるような回転変換(鏡像変換もこれに含む)である。詳しいことは、線形代数の教科書に書いてある。


のとき、



のときは省略。


直交回帰を用いた点列にフィットする超平面(hyperplanar fitting of points using orthogonal regression)


同様にn次元での平面でフィッティングさせてみる

平面:

点列:, ,と直交する単位ベクトル,は適当な係数

よって

最小二乗法のためのエネルギー関数

さっきの議論と同様、二通りに書けて

1.

2.


1.はで微分すると


これはのときは、常に偏微分が0になる。つまり、, 早い話が点列の重心。


以下、線にフィットさせる時と同様の議論なので割愛。


円の2次元の点列へのフィッティング(fitting a circle to 2D points)


点列: , ただしすべての点が同一直線上(collinear)にはないとする。

円:

エネルギー関数は


これが0になるのは、のとき。



これらが0になるのは、


のとき。

この3つからごちょごちょやれば、



てな非線形の等式が得られるんで、この式でとかそういうイテレーションで解けるんじゃないかと。


球の3次元の点列へのフィッティング(fitting a sphere to 3D points)

↑の議論とおなじ。結論は




の形になるので、イテレーションで解ける。


二次曲線を2次元の点列にフィッティング(fitting a quadratic curve to 2Dpoints)

点列:

二次曲線:

自由度を減らすため、は単位長とする。

とおけば、

とすれば、エネルギー関数は


とか置くといいだろう。のときはベストフィットだし、それらしい近似になっているはずだ。

,(↑で定めたので)

行列の二次形式なのでこの最小値は、Mの一番小さい固有値で、はその固有値に対応する単位長の固有ベクトルとなる。


二次曲線を3次元の点列にフィッティング(fitting a quadratic curve to 3Dpoints)

二次曲線:

以下二次元のとき同様。


参考文献

1.『3DGame EngineDesign』 , David H.Eberly , MORGANKAUFMANNPUBLISHERS ,ISBN1−55860−593−2.

2.多変量解析の教科書いろいろ。(;´Д`)