情報のエントロピー

統計の勉強をしていると色々な分野のことを学べます。統計は数学同様が応用される範囲が広いためです。今、解いている問題にエントロピーの問題が出てきました。エントロピーといえば、熱力学のdS=δq/Tを思い出しますが、情報や統計にもエントロピーの概念があります。ここでは、エントロピーH=-Σplogpです。統計力学という学問がこの二つのエントロピーをつないでくれるのだそうですが、とりあえず情報工学をまともに勉強したことがない僕としては情報の理論についてもう少し理解を深めたいなぁと思う今日この頃です。ちなみにこのエントロピーを考えると、昨日紹介した「きまぐれ小泉君」の問題がなんかちょっと変わりそうな気もします。