論文メモ

DeepWalk: Online Learning of Social Representations

概要

  • deep walk に関する論文
  • 目的はソーシャルネットのグラフ構造から潜在ベクトルを得るところ
  • グラフ構造をニューラルネットで学習させ、潜在ベクトルを得る
  • グラフ構造をランダムウォークによって構造し、ニューラルネットに突っ込む
  • 自然言語処理で言うと、ランダムウォークによって、グラフの構成要素から文書をつくるイメージ
  • ランダムウォークから得られる局所情報を用いて、ウォークを文に相当するものとして扱う
  • 潜在表現を取得
  • DeepWalkは、オンライン学習アルゴリズムであり並列化が可能
  • 頂点の潜在的な特徴であり、近隣の類似性やコミュニティ・メンバーシップ
  • 潜在的な表現は、比較的少ない次元数の連続ベクトル空間における社会的関係を符号化
  • SkipGramと階層的ソフトマックスの組み合わせ
  • 計算高速化の手法は階層的ソフトマックス
  • ランダムウォークで頻出する頂点に短いパスを割り当てることで、学習プロセスをさらに高速化することができる
  • ハフマン符号化は，木の中の頻出要素のアクセス時間を短縮するために用いられる
    • ただ、ハフマン符号化は必ずしも必要ではない。高速化に必要?という意味？？