Loading [MathJax]/extensions/Safe.js
MENU

最小二乗法って何?


最小二乗法/最少自乗法(Wikipedia)

一次方程式の場合

例えば、データ(x1,y1)、(x2,y2)、……………..、(xn,yn)が与えられた時、最も近似する直線を求めましょうという場合に使う方法。

こんな感じ。

 

y = a*x + b <-このa、bが知りたい!

誤差/残差 (c = |yi – a*xi -b|) の二乗和

$$J = \displaystyle \sum_{i = 1 }^{ n }(y_i – a*x_i -b)^2 = \sum_{i = 1 }^{ n }(y_i^2 – 2*a*y_i*x_i + a^2*x_i^2 – 2*b*y_i + 2*b*a*x_i+b^2)$$

を最小にするa、bを求める->変数a、bで偏微分したものが0になればよい…..と考える。

$$ \frac  {\partial J }{\partial a} = -2\sum_{i = 1 }^{ n }y_ix_i + 2a\sum_{i = 1 }^{ n }x_i^2 + 2b\sum_{i = 1 }^{ n }x_i = 0$$

 

$$\begin{eqnarray} \frac  {\partial J }{\partial b} = -2\sum_{i = 1 }^{ n }y_i + 2a\sum_{i = 1 }^{ n }x_i + 2\sum_{i = 1 }^{ n }b  \\= -2\sum_{i = 1 }^{ n }y_i + 2a\sum_{i = 1 }^{ n }x_i + 2nb = 0\end{eqnarray}$$

 

Σの演算やnは既知数なので、このa、bに関する連立方程式を解いてa、bの値を求めればよい…..ということになる。

 


標準偏差と共分散で解く….という手もあるが、今回はパス

 

Be the first to comment

Leave a Reply

Your email address will not be published.


*