via ICML 2016 Tutorial on Deep Residual Networks

別のところで出て来たための調べ物。

[1512.03385] Deep Residual Learning for Image Recognition が論文本体。上のスライドがよくかけていた。ConvNet も深くしていくと段々辛くなってくるけれど、residual cconnection というある種の skip connection をつけてやると 100 layer 以上いけるようになるよ、という話らしい。深いレイヤでおこりがちな gradient の vanish/explode を線形の成分をまぜてやることで緩和するという点で LSTM に似ているという話がどこかに書いてあった、が、リンク失念。こういうわかりやすいアーキテクチャは心休まるな・・・。