← タグ

最小二乗法

数学 物理・量子計算

[総合] 最小二乗法は物理・統計・機械学習で何をしているのか(過去のブログ記事をリライト)

最小二乗法に共通する正規方程式を導き、物理・統計・機械学習での使い方を比較する。人工的なばねの測定から定数を求め、測定精度を反映した重み付き推定と正規誤差の最尤推定を確かめる。Pythonの多項式回帰ではRidge正則化の強さを検証データで選び、未知のデータに対する予測誤差を調べる。

数学 数値計算

[線形代数] 最小二乗法を射影として理解する(過去のブログ記事をリライト)

最小二乗法を、観測ベクトルの列空間への直交射影として説明する。直線への射影から正規方程式を導き、射影行列の対称性と冪等性を確かめる。3点の回帰を手計算とPythonで比較し、残差が列空間に直交することを図示する。QR分解による計算と、列が重複して係数が一意に定まらない場合も扱う。

数学 機械学習

[線形代数] OLSを最尤推定から導出する(過去のブログ記事をリライト)

独立で等分散の正規誤差を仮定し、通常最小二乗法(OLS)を最尤推定から導く。対数尤度の微分から正規方程式を求め、4点の回帰を手計算する。PythonではOLSと数値最適化の結果を比較し、残差平方和と尤度の対応、分散の最尤推定量と不偏推定量の違いをグラフと反復実験で確かめる。