Book: Information Theory: A Tutorial Introduction
Information Theory: A Tutorial Introduction: James V Stone: 9780956372857: Amazon.com: Books
というわけで読み終わった。
エントロピー入門。難しい証明はせず、ちょっとした式変形ですむ証明はしつつ、解釈や直感的な理解に重みをおいている。真面目なやつを読みたい人は真面目なのを読むのが良いと思うけれど、自分はこのくらいでよかった。200 ページくらい。
最後の二章は物理学、脳生理学におけるエントロピーみたいな話。あまり真面目には追わず流し読み。Maxwell's Demon とか、そういえばなんか聞いたことあるねそれ・・・みたいなかんじ。
Entropy というものを完全に腑に落とせたかというと no だけれども、式をみてもビビらないようにはなった。ただ entropy とか logit をつかってなんかやる系の計算にはしばらく近づかない気がするので無駄といえば無駄。気を済ますため、納得税としての読書だったとは思う。まあ納得税率高めな性格のため仕方なし。