数理・アルゴリズム

推薦システム、グラフ理論、量子ウォーク、グラフニューラルネットワーク(GCN)、マーケティングの統計モデルなど、幅広い数理・アルゴリズムの理論とPython実装をまとめたセクションです。

[2020-05-30] : ブログ記事をこちらのサイトに移管しました。

[2026-05-01] : 古くなった複数の記事を削除しました。

[2026-11-01] : 削除した記事をリライトして公開することにしました。

2026

[数値計算] BFGSはヘッセ行列を計算せずに何を近似しているのか(過去のブログ記事をリライト)

BFGSが移動量と勾配の差からヘッセ行列の近似を更新する仕組みを説明する。セカント条件、更新式、正定値性と直線探索の関係を導き、Pythonで二次関数とRosenbrock関数を最小化する。解への収束、行列全体の近似誤差、セカント条件の残差を比較し、それぞれが示す意味を区別する。

[グラフ理論] Heat Kernelとグラフ上の拡散(過去のブログ記事をリライト)

グラフの辺に沿って熱が移る過程を、ラプラシアンと行列指数関数で表す。3頂点の例でHeat Kernelによる解を導き、Pythonで熱量の保存、平均への収束、固有値による減衰を確かめる。2つの頂点群を結ぶ辺の重みを変え、スペクトルギャップと拡散の速さの関係をグラフで比較する。

[総合] Rayleigh商はなぜPCAから量子力学まで現れるのか(過去のブログ記事をリライト)

Rayleigh商が固有値の加重平均になることを導き、その最大値と最小値を求める。PCAの射影分散の最大化と、量子力学の基底状態を求めるエネルギー最小化が同じ式で表せる理由を説明する。Pythonで二次元データと二準位系を計算し、方向や相対位相による値の変化をグラフで確かめる。

[総合] 指数型分布族はなぜ統計・機械学習で重要なのか(過去のブログ記事をリライト)

指数型分布族の共通形式から、統計と機械学習で使う計算を導く。ベルヌーイ・ポアソン・正規分布を例に、対数分配関数の微分、十分統計量、最尤推定の関係を確認する。Pythonでベータ事前分布の更新とロジスティック回帰を計算し、損失の凸性と有限な推定解が存在する条件を区別する。

[総合] Poisson方程式はなぜ半導体・熱・流体・重力に現れるのか(過去のブログ記事をリライト)

Poisson方程式が半導体・熱・流体・重力に現れる理由を、勾配と発散から導く。電位、定常温度、圧力、重力ポテンシャルについて源の符号と境界条件を整理する。Pythonで一次元差分法による解と誤差を比較し、周期領域の二次元圧力補正では、速度の発散が取り除かれることを確かめる。

[総合] 固有値問題はなぜPCA・振動解析・量子力学・グラフに現れるのか(過去のブログ記事をリライト)

固有値問題がPCA・振動解析・量子力学・グラフに現れる理由を、最適化と時間発展の式から導く。固有値が分散、角振動数の二乗、エネルギー、辺上の変動を表すことを小さな例で確かめる。Pythonで主成分、振動モード、二状態系、グラフ分割を計算し、残差や保存則から結果の整合性を確認する。

[総合] 最小二乗法は物理・統計・機械学習で何をしているのか(過去のブログ記事をリライト)

最小二乗法に共通する正規方程式を導き、物理・統計・機械学習での使い方を比較する。人工的なばねの測定から定数を求め、測定精度を反映した重み付き推定と正規誤差の最尤推定を確かめる。Pythonの多項式回帰ではRidge正則化の強さを検証データで選び、未知のデータに対する予測誤差を調べる。

[グラフ理論] Fiedler VectorとSpectral Clustering(過去のブログ記事をリライト)

Fiedlerベクトルを使ってグラフを分割する理由を、ラプラシアンの二次形式とRatioCutの連続緩和から導く。4頂点の例で固有値と符号による分割を確かめ、正規化ラプラシアンを用いたスペクトラルクラスタリングへ進む。Pythonで半月形データを分割し、通常のK-meansと結果を比較する。

[グラフ理論] グラフラプラシアンの固有値は何を意味するのか(過去のブログ記事をリライト)

無向グラフのラプラシアンの固有値を、辺の両端の値の二乗差から説明する。3頂点の手計算とPythonで、ゼロ固有値の個数が連結成分数に等しいことを確かめる。2つの頂点群を結ぶ辺の重みを変え、第2固有値、固有ベクトル、拡散の減衰率を比較し、弱い接続で熱が伝わりにくくなる理由を示す。

[線形代数] 最小二乗法を射影として理解する(過去のブログ記事をリライト)

最小二乗法を、観測ベクトルの列空間への直交射影として説明する。直線への射影から正規方程式を導き、射影行列の対称性と冪等性を確かめる。3点の回帰を手計算とPythonで比較し、残差が列空間に直交することを図示する。QR分解による計算と、列が重複して係数が一意に定まらない場合も扱う。

[線形代数] OLSを最尤推定から導出する(過去のブログ記事をリライト)

独立で等分散の正規誤差を仮定し、通常最小二乗法(OLS)を最尤推定から導く。対数尤度の微分から正規方程式を求め、4点の回帰を手計算する。PythonではOLSと数値最適化の結果を比較し、残差平方和と尤度の対応、分散の最尤推定量と不偏推定量の違いをグラフと反復実験で確かめる。

[一般化線形モデル] GLMを指数型分布族から導出する(過去のブログ記事をリライト)

一般化線形モデル(GLM)を指数型分布族から導く。正規化条件の微分で平均と分散を求め、正規・ベルヌーイ・ポアソン分布の対応を整理する。正準リンクを使った最尤推定から反復重み付き最小二乗法(IRLS)を導出し、人工データのポアソン回帰をPythonで実装してSciPyの最適化結果と照合する。

[一般化線形モデル] Canonical Linkとは何か(過去のブログ記事をリライト)

正準リンクは、一般化線形モデルの線形予測子を自然パラメータに一致させるリンク関数である。正規・ベルヌーイ・ポアソン分布から恒等・ロジット・対数リンクを導き、平均との関係を図示する。Pythonで回帰係数を最尤推定し、勾配とヘッセ行列が簡単になる理由や、プロビットリンクとの違いを確かめる。

[線形代数] 条件数はなぜ数値計算の難しさを表すのか(過去のブログ記事をリライト)

行列の条件数が、連立一次方程式の解の精度にどう関わるかを説明する。行列を固定して右辺に誤差を加え、相対誤差の増幅率の上限を導く。特異値と楕円の形、誤差の方向による増幅率の違い、残差が小さくても解が不正確になる例をPythonで確認し、問題の条件数と計算方法の安定性を区別する。

[線形代数] Hilbert行列はなぜコンピュータにとって難しいのか(過去のブログ記事をリライト)

Hilbert行列は逆行列を持つが、入力の小さな誤差で連立一次方程式の解が大きく変わることがある。積分で正則性を示し、条件数から誤差の増幅を説明する。Pythonで残差と解の誤差を比較し、入力を多倍長精度で作り直す場合と、倍精度で丸めた入力を使う場合の違いをグラフで確認する。

[数値計算] Newton法が収束しない例をPythonで作る(過去のブログ記事をリライト)

Newton法が収束しない3つの例をPythonで再現する。反復値が0と1を往復する場合、絶対値が2倍ずつ増える場合、導関数が0で更新できない場合を、更新式とグラフで説明する。初期値を変えた結果やBrent法と比較し、最終値に加えて残差と終了理由を調べ、収束したかどうかを確かめる。

[数値計算] Newton法はなぜ2次収束するのか(過去のブログ記事をリライト)

Newton法が単純根の近くで少なくとも2次収束する理由を、接線による更新式とTaylor展開から導く。平方根をPythonで計算し、誤差の減り方、誤差比、収束次数を確かめる。重根で収束が遅くなる場合や初期値によって収束しない場合も比較し、丸め誤差による精度の限界をグラフで確認する。

2024

2023

[マーケティング] RFM分析

顧客のRecency・Frequency・Monetaryを分析するRFM分析の考え方を解説し、Faker・ポアソン分布・ガンマ分布で作成したダミー購買データをsqlite3でSQLiteに格納して分析します。

2022

[線形代数] ノイマン級数

ノイマン級数の定義、収束条件、行列の逆行列近似への応用を解説し、Pythonで(I-aA)^{-1}を計算する実装例を示す。

[線形代数] スペクトル分解

対称行列のスペクトル分解を固有値・固有ベクトルから導出し、特異値分解との関係とPythonによる実装例を解説する。

[線形代数] 便利な公式

Matrix Cookbookを参考に、転置・トレース・行列式・微分・逆行列(Woodbury公式)など実務でよく使う行列公式を整理する。

[線形代数] 余因子展開

行列の余因子と余因子展開の定義や性質を具体例で解説し、余因子行列を用いた行列式の計算方法をPythonで実装する。

2021

[線形代数] レイリー商

対称行列のレイリー商の定義と性質を解説し、ラグランジュの未定乗数法による最大値・最小値の証明とPython実装例を示す。

[線形代数] 特異値分解と主成分分析

特異値分解(SVD)と主成分分析(PCA)の数学的な定義を整理し、numpyによる計算例と推薦システムにおける評価行列の低ランク近似への応用を解説する。

[qiskit] HHLアルゴリズム

連立一次方程式を解く古典的な共役勾配法を復習した上で、推薦システムとの関連にも触れながらqiskitでHHLアルゴリズムの理論と実装を解説する記事です。

[qiskit] グローバーのアルゴリズム

計算量O(√N)で高速に探索を行うグローバーのアルゴリズムを、振幅増幅の理論とベクトル空間上の回転操作として解説する記事です。

[qiskit] ショアのアルゴリズム

RSA暗号の仕組みを復習した上で、位数発見を用いた素因数分解によってRSA暗号を破る可能性を持つショアのアルゴリズムを解説する記事です。

[qiskit] 量子位相推定

位相キックバックと逆量子フーリエ変換を組み合わせた量子位相推定の理論を解説し、Tゲートを例にqiskitで固有値の位相を求める実装を行います。

[qiskit] 量子フーリエ変換

古典的な離散フーリエ変換の考え方を復習した上で、それを量子状態に応用した量子フーリエ変換の理論をqiskitとともに解説する記事です。

[qiskit] サイモンのアルゴリズム

関数が1:1か2:1かを判定し、2:1関数の周期を求めるサイモンのアルゴリズムを数式を追いながら理解する記事です。

[qiskit] 2量子ビットの演算

2量子ビットの状態をテンソル積で表現する方法を解説し、qiskitを用いて複数量子ビットの演算例を示します。

2020

[推薦システム] 評価手法の話

推薦システムの評価手法について、Precision/Recallなどの精度指標からオフライン/オンライン評価までPythonの例とともに解説する。

[推薦システム] implicitの使い方

推薦システム用ライブラリimplicitの使い方を、movielens-100kデータセットとALS/BPRアルゴリズムの説明を交えて解説する。

[確率思考の戦略論] 3.Ehrenberg論文紹介

「確率思考の戦略論」第3回、Ehrenberg論文を紹介する記事の案内ページで、本文は新しいページへのリダイレクトのみが記載されています。