論文メモ

Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

概要

  • 推薦システムの手法の考察
  • 最近頻繁に論文が出ているDNNベースの手法は協調フィルタリングなどの従来の方法にはかなわないという論文
  • 最近の論文では、結果の再現性や、新しいモデルを提案する際のベースラインの選択など、現在の応用機械学習の研究手法の問題点が指摘
  • 過去数年間にトップレベルの研究会議で発表された18のアルゴリズムを検討
  • そのうち，簡単に再現できたのは7つだけ
  • これらの手法のうち6つは，最近傍探索やグラフベースの手法など，比較的単純なヒューリスティック手法で凌駕できること
  • 機械学習の研究における多くの潜在的な問題に光を当て、この分野における科学的実践の改善を求めるもの
  • 深層学習技術は推薦システムに取り入れらている
  • セッションベースの推薦のための最近のDNNの手法でさえ，単純な手法の方がよい
  • 深層学習ベースの推薦アルゴリズムの領域にもソースコードの不開示や特殊な条件でしか再現しないという問題が存在
  • 深層学習手法を用いたtop-n推薦タスクに対する新たなアルゴリズムアプローチを提案した研究論文を分析する系統的な研究
  • KDD，SIGIR，TheWebConf (WWW)，RecSysなどの最近の会議録を読み，関連する研究論文
  • 著者がソースコードを提供し，我々が実験に使用したデータにアクセスできる場合には，その再現を試みた
  • 最終的に、許容できる程度の確実性をもって発表された結果を再現できたのは、わずか7件の論文
  • 調査したケースの大部分（7つのうち6つ）で、提案された深層学習技術は、シンプルだが微調整されたベースライン手法を一貫して上回ることができない