Starting NN Learning Feels Intractable

無事 Coursera の Hinton クラスが終わり、年末は Udacity の TensorFlow チュートリアルをひやかして(クイズはやってない) 速い GPU の必要性を感じたので EC2 の GPU インスタンスを使う準備などをした。

しかしここからどう進めばいいのかがわからない。自分の当面のゴールは、ある日 TensorFlow を使った仕事が降ってきても困らないようにする、あるいは使えそうな機会があったら逃さないようにする、くらい。何も突飛な期待をしていない。にもかかわらず、あるいはそれゆえに、何をしたものか見当がつかない。

普通だったら、そろそろ何か面白いものを作っていいフェーズだと思う。でも今回はそれだとうまくいかない気がする。なぜだろう。まず、特にこれといってやってみたいものがないこと。具体的で身近な問題を機械学習の問題に結びつけるアイデアがない。たぶん機械学習側の理解が足りてないからだとおもうけれど、これじゃ鶏と卵。

GAN を使った画像生成とかはおもしろそうではあるけれど、今の自分の水準だとあまりにブラックボックスすぎて何か意味のある理解が進むとは思えない。これは新しくて面白そうな NN 技術全般に言える。

面白いことをするのは諦め、すでに説かれた問題(論文)を再現することで手を動かすくらいが良いように思える。が、それすらどこからはじめたらいいのかわからない。おすすめ論文リストみたいのは、大概長過ぎる。そして正直いまの実力だと論文からコードを書き起こせる気がしない。論文を実装したコードを読んだり動かしたりして理解する、くらいから始めざるをえない。

そういうものが何かないかなと思っていたら、実は TensorFlow のチュートリアル後半がそんなかんじだった。ここからやるかなあ。そして TensorFlow のサブプロジェクトには、色々な論文の実装を集めた models というレポジトリがある。眺めた感じ質は玉石だけれど、チュートリアルのあとはこれを眺めるのも手なのかもしれない。

元論文を読みつつ手を動かしを何度かやったら、そのあとは自分の足で進めるようになるといいなあ。いまのところ全然そんな感触がなくてしんどい。理想的には最終的に解きたい問題があってやってればいいんだろうけれど、そうはなってない。でもなんとか進むしか無い。


手を動かすとは別に抜けている基本を埋めていく作業も必要な気がする。それは悪夢の書をちゃんと読もうかな。