情報理論は、情報・通信を数学的に論じる学問。
情報量（entropy）は、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度。
ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。
情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
Bit(ビット)：binary digitから由来。 binaryは二進法、digitは桁を意味するので2進数の1桁ということ。
byte(バイト)：1byteはbitを8桁並べたもので、2の8乗＝256通りのデータを表す。bite(噛む)をもじった造語。
