[線形代数] OLSを最尤推定から導出する(過去のブログ記事をリライト)
独立で等分散の正規誤差を仮定し、通常最小二乗法(OLS)を最尤推定から導く。対数尤度の微分から正規方程式を求め、4点の回帰を手計算する。PythonではOLSと数値最適化の結果を比較し、残差平方和と尤度の対応、分散の最尤推定量と不偏推定量の違いをグラフと反復実験で確かめる。

独立で等分散の正規誤差を仮定し、通常最小二乗法(OLS)を最尤推定から導く。対数尤度の微分から正規方程式を求め、4点の回帰を手計算する。PythonではOLSと数値最適化の結果を比較し、残差平方和と尤度の対応、分散の最尤推定量と不偏推定量の違いをグラフと反復実験で確かめる。
