← タグ

Hessian

数学 数値計算

[数値計算] BFGSはヘッセ行列を計算せずに何を近似しているのか(過去のブログ記事をリライト)

BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。