[数値計算] BFGSはヘッセ行列を計算せずに何を近似しているのか(過去のブログ記事をリライト)
BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。

MATHEMATICS · PHYSICS · COMPUTER SCIENCE
数学・物理学・コンピュータサイエンスについて、定義と導出からPythonによる実装・数値実験までをまとめた個人ノートです。
BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。

Galerkin法では、近似解と試験関数に同じ有限次元空間を使う。一次元Poisson方程式を例に、区分一次関数の基底から要素行列を作り、共有節点で組み立てる手順を示す。Pythonで解と導関数を比較し、節点では見えない誤差や、分割を細かくしたときの収束次数を確認する。

Poisson方程式に試験関数を掛け、部分積分から弱形式を導く。Dirichlet条件とNeumann条件の扱いを整理し、一次元の線形要素から剛性行列と荷重ベクトルを組み立てる。Pythonで近似解と厳密解を比較し、節点間に残る誤差と、分割を細かくしたときの収束次数を確認する。

グラフの辺に沿って熱が移る過程を、ラプラシアンと行列指数関数で表す。3頂点の例でHeat Kernelによる解を導き、Pythonで熱量の保存、平均への収束、固有値による減衰を確かめる。2つの頂点群を結ぶ辺の重みを変え、スペクトルギャップと拡散の速さの関係をグラフで比較する。

グラフ拡散を、異なる歩数のランダムウォークの重み付き和として説明する。Personalized PageRank(PPR)を再スタート付き歩行から導き、3頂点の手計算とPythonの疎行列実装を照合する。再スタート確率や出発分布の影響を調べ、幾何分布とポアソン分布で重み付けする拡散を比較する。

Rayleigh商が固有値の加重平均になることを導き、その最大値と最小値を求める。PCAの射影分散の最大化と、量子力学の基底状態を求めるエネルギー最小化が同じ式で表せる理由を説明する。Pythonで二次元データと二準位系を計算し、方向や相対位相による値の変化をグラフで確かめる。

年別の一覧から、これまでの技術記事をたどれます。