[総合] 指数型分布族はなぜ統計・機械学習で重要なのか(過去のブログ記事をリライト)
指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

最小二乗法に共通する正規方程式を導き、物理・統計・機械学習での使い方を比較する。人工的なばねの測定から定数を求め、測定精度を反映した重み付き推定と正規誤差の最尤推定を確かめる。Pythonの多項式回帰ではRidge正則化の強さを検証データで選び、未知のデータに対する予測誤差を調べる。
