[線形代数] 最小二乗法を射影として理解する(過去のブログ記事をリライト)
最小二乗法を、観測ベクトルの列空間への直交射影として説明する。直線への射影から正規方程式を導き、射影行列の対称性と冪等性を確かめる。3点の回帰を手計算とPythonで比較し、残差が列空間に直交することを図示する。QR分解による計算と、列が重複して係数が一意に定まらない場合も扱う。

最小二乗法を、観測ベクトルの列空間への直交射影として説明する。直線への射影から正規方程式を導き、射影行列の対称性と冪等性を確かめる。3点の回帰を手計算とPythonで比較し、残差が列空間に直交することを図示する。QR分解による計算と、列が重複して係数が一意に定まらない場合も扱う。
