
BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。
推薦システム、グラフ理論、量子ウォーク、グラフニューラルネットワーク(GCN)、マーケティングの統計モデルなど、幅広い数理・アルゴリズムの理論とPython実装をまとめたセクションです。
[2020-05-30] : ブログ記事をこちらのサイトに移管しました。
[2026-05-01] : 古くなった複数の記事を削除しました。
[2026-11-01] : 削除した記事をリライトして公開することにしました。

BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。

Galerkin法では、近似解と試験関数に同じ有限次元空間を使う。一次元Poisson方程式を例に、区分一次関数の基底から要素行列を作り、共有節点で組み立てる手順を示す。Pythonで解と導関数を比較し、節点では見えない誤差や、分割を細かくしたときの収束次数を確認する。

Poisson方程式に試験関数を掛け、部分積分から弱形式を導く。Dirichlet条件とNeumann条件の扱いを整理し、一次元の線形要素から剛性行列と荷重ベクトルを組み立てる。Pythonで近似解と厳密解を比較し、節点間に残る誤差と、分割を細かくしたときの収束次数を確認する。

グラフの辺に沿って熱が移る過程を、ラプラシアンと行列指数関数で表す。3頂点の例でHeat Kernelによる解を導き、Pythonで熱量の保存、平均への収束、固有値による減衰を確かめる。2つの頂点群を結ぶ辺の重みを変え、スペクトルギャップと拡散の速さの関係をグラフで比較する。

グラフ拡散を、異なる歩数のランダムウォークの重み付き和として説明する。Personalized PageRank(PPR)を再スタート付き歩行から導き、3頂点の手計算とPythonの疎行列実装を照合する。再スタート確率や出発分布の影響を調べ、幾何分布とポアソン分布で重み付けする拡散を比較する。

Rayleigh商が固有値の加重平均になることを導き、その最大値と最小値を求める。PCAの射影分散の最大化と、量子力学の基底状態を求めるエネルギー最小化が同じ式で表せる理由を説明する。Pythonで二次元データと二準位系を計算し、方向や相対位相による値の変化をグラフで確かめる。

指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

Poisson方程式が半導体・熱・流体・重力に現れる理由を、勾配と発散から導く。電位、定常温度、圧力、重力ポテンシャルについて源の符号と境界条件を整理する。Pythonで一次元差分法による解と誤差を比較し、周期領域の二次元圧力補正では、速度の発散が取り除かれることを確かめる。

固有値問題がPCA・振動解析・量子力学・グラフに現れる理由を、最適化と時間発展の式から導く。固有値が分散、角振動数の二乗、エネルギー、辺上の変動を表すことを小さな例で確かめる。Pythonで主成分、振動モード、二状態系、グラフ分割を計算し、残差や保存則から結果の整合性を確認する。

最小二乗法に共通する正規方程式を導き、物理・統計・機械学習での使い方を比較する。人工的なばねの測定から定数を求め、測定精度を反映した重み付き推定と正規誤差の最尤推定を確かめる。Pythonの多項式回帰ではRidge正則化の強さを検証データで選び、未知のデータに対する予測誤差を調べる。

Fiedlerベクトルを使ってグラフを分割する理由を、ラプラシアンの二次形式とRatioCutの連続緩和から導く。4頂点の例で固有値と符号による分割を確かめ、正規化ラプラシアンを用いたスペクトラルクラスタリングへ進む。Pythonで半月形データを分割し、通常のK-meansと結果を比較する。

無向グラフのラプラシアンの固有値を、辺の両端の値の二乗差から説明する。3頂点の手計算とPythonで、ゼロ固有値の個数が連結成分数に等しいことを確かめる。2つの頂点群を結ぶ辺の重みを変え、第2固有値、固有ベクトル、拡散の減衰率を比較し、弱い接続で熱が伝わりにくくなる理由を示す。

最小二乗法を、観測ベクトルの列空間への直交射影として説明する。直線への射影から正規方程式を導き、射影行列の対称性と冪等性を確かめる。3点の回帰を手計算とPythonで比較し、残差が列空間に直交することを図示する。QR分解による計算と、列が重複して係数が一意に定まらない場合も扱う。

独立で等分散の正規誤差を仮定し、通常最小二乗法(OLS)を最尤推定から導く。対数尤度の微分から正規方程式を求め、4点の回帰を手計算する。PythonではOLSと数値最適化の結果を比較し、残差平方和と尤度の対応、分散の最尤推定量と不偏推定量の違いをグラフと反復実験で確かめる。

一般化線形モデル(GLM)を指数型分布族から導く。正規化条件の微分で平均と分散を求め、正規・ベルヌーイ・ポアソン分布の対応を整理する。正準リンクを使った最尤推定から反復重み付き最小二乗法(IRLS)を導出し、人工データのポアソン回帰をPythonで実装してSciPyの最適化結果と照合する。

正準リンクは、一般化線形モデルの線形予測子を自然パラメータに一致させるリンク関数である。正規・ベルヌーイ・ポアソン分布から恒等・ロジット・対数リンクを導き、平均との関係を図示する。Pythonで回帰係数を最尤推定し、勾配とヘッセ行列が簡単になる理由や、プロビットリンクとの違いを確かめる。

行列の条件数が、連立一次方程式の解の精度にどう関わるかを説明する。行列を固定して右辺に誤差を加え、相対誤差の増幅率の上限を導く。特異値と楕円の形、誤差の方向による増幅率の違い、残差が小さくても解が不正確になる例をPythonで確認し、問題の条件数と計算方法の安定性を区別する。

Hilbert行列は逆行列を持つが、入力の小さな誤差で連立一次方程式の解が大きく変わることがある。積分で正則性を示し、条件数から誤差の増幅を説明する。Pythonで残差と解の誤差を比較し、入力を多倍長精度で作り直す場合と、倍精度で丸めた入力を使う場合の違いをグラフで確認する。

Newton法が収束しない3つの例をPythonで再現する。反復値が0と1を往復する場合、絶対値が2倍ずつ増える場合、導関数が0で更新できない場合を、更新式とグラフで説明する。初期値を変えた結果やBrent法と比較し、最終値に加えて残差と終了理由を調べ、収束したかどうかを確かめる。

Newton法が単純根の近くで少なくとも2次収束する理由を、接線による更新式とTaylor展開から導く。平方根をPythonで計算し、誤差の減り方、誤差比、収束次数を確かめる。重根で収束が遅くなる場合や初期値によって収束しない場合も比較し、丸め誤差による精度の限界をグラフで確認する。

広告や値下げなどマーケティングミックスを考慮した新製品普及予測モデル、一般化バスモデル(GBM)の理論とPythonシミュレーションを解説。


新製品普及を予測するバスモデルと感染症拡大を予測するSIRモデルを比較し、数理的な共通点と違いを解説する記事。

新製品の普及プロセスを数理的にモデル化するバスモデル(Bass Diffusion Model)の理論とPythonシミュレーションを解説する記事。

稀に起こる極端な現象を扱う極値統計学の基礎、ガンベル分布の定義と性質を、Pythonでのパラメータ推定や可視化とともに解説する記事。

推薦システムで用いられる評価行列・隣接行列・次数行列・ラプラシアン行列の定義を、PythonのNetworkxで計算しながら解説する記事。

mlxtendを用いたApriori・FP-Growthアルゴリズムによるアソシエーション分析を解説し、サポート・信頼度・リフトの指標をKaggleの購買データで計算する方法を紹介します。

顧客のRecency・Frequency・Monetaryを分析するRFM分析の考え方を解説し、Faker・ポアソン分布・ガンマ分布で作成したダミー購買データをsqlite3でSQLiteに格納して分析します。








グラフ信号処理における空間領域の畳み込みと周波数領域での要素積の関係を、理論とPython実装で解説する記事。

GNN(グラフニューラルネットワーク)とその一種であるGCN(グラフ畳み込みネットワーク)の基本理論とPython実装をまとめた記事。

コレスキー分解・LU分解・QR分解・スペクトル分解・特異値分解という5つの行列分解を理論とPython実装例つきで解説する。


特異値分解(SVD)と主成分分析(PCA)の数学的な定義を整理し、numpyによる計算例と推薦システムにおける評価行列の低ランク近似への応用を解説する。



連立一次方程式を解く古典的な共役勾配法を復習した上で、推薦システムとの関連にも触れながらqiskitでHHLアルゴリズムの理論と実装を解説する記事です。







書籍『GooglePageRankの数理』を参考に、PageRankとGoogle行列の理論的背景を整理し、要点をまとめた備忘録記事。


qiskitの基本的な文法と、量子レジスタの作成、アダマールゲートやCNOTゲートといった量子ゲートの演算方法を紹介する入門記事です。

ランダムウォークによるグラフ埋め込み手法DeepWalkとNode2Vecの数理的背景とアルゴリズムをPython実装とともに解説する記事。

古典ランダムウォークと隣接行列を軸に、PageRankとPersonalized PageRankの理論をPythonコードとともに解説する記事。




ユーザベース/アイテムベースのメモリベース協調フィルタリングをコサイン類似度やピアソン相関係数の数式とPython実装例で解説する。


推薦システム用ライブラリimplicitの使い方を、movielens-100kデータセットとALS/BPRアルゴリズムの説明を交えて解説する。

「確率思考の戦略論」第3回、Ehrenberg論文を紹介する記事の案内ページで、本文は新しいページへのリダイレクトのみが記載されています。

「確率思考の戦略論」第2回、市場理解と予測に役立つ数学ツールを扱う記事の案内ページで、本文は新しいページへのリダイレクトのみが記載されています。

「確率思考の戦略論」第1回、確率理論の導入とプレファレンスの数学的説明を扱う記事の案内ページで、本文は新しいページへのリダイレクトのみが記載されています。