via Yes you should understand backprop – Andrej Karpathy – Medium

いい話だなーと思って読んでいたが、最後に紹介されているバグの実例が自分にはとても chase down できそうになくてつらい。Huber loss とか知らないよ・・・。

そもそも TF には微分不能というか微分が変な op は入れないでほしいなあ。Clip とかいかにもだめそうじゃん。まあそれいったら ReLU だっていかにもだめそうだが・・・。