← テーマ別のシリーズ

一般化線形モデルの基礎

指数型分布族からGLMを導き、正準リンクと最尤推定をPythonで確かめます。

前提知識 確率分布・微分・行列積とPythonの基本文法。

  1. [一般化線形モデル] GLMを指数型分布族から導出する(過去のブログ記事をリライト)

    一般化線形モデル(GLM)を指数型分布族から導く。正規化条件の微分で平均と分散を求め、正規・ベルヌーイ・ポアソン分布の対応を整理する。正準リンクを使った最尤推定から反復重み付き最小二乗法(IRLS)を導出し、人工データのポアソン回帰をPythonで実装してSciPyの最適化結果と照合する。

  2. [一般化線形モデル] Canonical Linkとは何か(過去のブログ記事をリライト)

    正準リンクは、一般化線形モデルの線形予測子を自然パラメータに一致させるリンク関数である。正規・ベルヌーイ・ポアソン分布から恒等・ロジット・対数リンクを導き、平均との関係を図示する。Pythonで回帰係数を最尤推定し、勾配とヘッセ行列が簡単になる理由や、プロビットリンクとの違いを確かめる。