← テーマ別のシリーズ

数値計算法をPythonで確かめる

Newton法からBFGS・非線形最小二乗法、常微分方程式のRunge–Kutta法へ進み、更新式・誤差・安定性をPythonで確かめます。

前提知識 微分・Taylor展開・行列の基本演算とPythonの基本文法。

  1. [数値計算] Newton法はなぜ2次収束するのか(過去のブログ記事をリライト)

    Newton法が単純根の近くで少なくとも2次収束する理由を、接線による更新式とTaylor展開から導く。平方根をPythonで計算し、誤差の減り方、誤差比、収束次数を確かめる。重根で収束が遅くなる場合や初期値によって収束しない場合も比較し、丸め誤差による精度の限界をグラフで確認する。

  2. [数値計算] Newton法が収束しない例をPythonで作る(過去のブログ記事をリライト)

    Newton法が収束しない3つの例をPythonで再現する。反復値が0と1を往復する場合、絶対値が2倍ずつ増える場合、導関数が0で更新できない場合を、更新式とグラフで説明する。初期値を変えた結果やBrent法と比較し、最終値に加えて残差と終了理由を調べ、収束したかどうかを確かめる。

  3. [数値計算] BFGSはヘッセ行列を計算せずに何を近似しているのか(過去のブログ記事をリライト)

    BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。