[総合] 指数型分布族はなぜ統計・機械学習で重要なのか(過去のブログ記事をリライト)
指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

一般化線形モデル(GLM)を指数型分布族から導く。正規化条件の微分で平均と分散を求め、正規・ベルヌーイ・ポアソン分布の対応を整理する。正準リンクを使った最尤推定から反復重み付き最小二乗法(IRLS)を導出し、人工データのポアソン回帰をPythonで実装してSciPyの最適化結果と照合する。

正準リンクは、一般化線形モデルの線形予測子を自然パラメータに一致させるリンク関数である。正規・ベルヌーイ・ポアソン分布から恒等・ロジット・対数リンクを導き、平均との関係を図示する。Pythonで回帰係数を最尤推定し、勾配とヘッセ行列が簡単になる理由や、プロビットリンクとの違いを確かめる。
