via GloVe: Global Vectors for Word Representation, paper.

授業にでてきたがよくわからなかったので復習。最終的な式変形の根拠は相変わらずわからないが、モデル自体はわかった。occurrence matrix を計算してから regression を解く。たしかにこの方が効率良さげ。

TensorFlow の実装ないかなーと眺めていたら @stanfordnlp の tweet が参照している github repo があった。コードも単純げ。まあモデルが単純だからね。TF  も自社発の word2vec だけじゃなく glove もサンプルに入れといてほしいもんです。Innovation happens elsewhere の精神が足らなくて心配。