信息为什么还有单位，熵为什么用 log 来计算？
修正：视频中所说的“事件”应该被称为“随机变量 random variable”，而“情况”应该被称为“事件 event”。
前言
学习观10 的部分疑惑可以在 11 中解除了。
信息和熵之所以有单位，是因为它们都是客观的物理量。
导图
信息的单位
不知道答案是ABDC哪个选项的小明，需要从 4 种等概率情况里确定实际情况，需要的信息为： log_k m ，
- m 是被测事件的等概率情况个数，上面的例子中 m=4 。
- k 是参照事件的等概率情况个数。
- 当选择的参照事件有 2 种等概率情况（像抛硬币）时， k=2 ，测得的信息量单位被称为比特 bit 。小明需要 log_2 4 bit 信息。
- 当选择的参照事件有 e (自然底数，约 2.71 ) 种等概率情况时，k=e ，测得的信息量单位被称为纳特 nat 。小明需要 log_e 4=ln4 nat 信息。
- 当选择的参照事件有 10 种等概率情况时，k=10 ，测得的信息量单位被称为 ban 。小明需要 log_{10}4 ban 信息。
把骰子的 6 种等概率情况作为参照事件或者 4 面体作为参照事件的话也可以，只是还没有常用到被赋予统一的名字。
信息是客观物理量？
引用一句话
The universe is conventionally described in terms of physical quantities such as mass and velocity, but a quantity at least as important as these is information [1]
举例说明
- 视觉信号：小红将“写有 C 的 传纸条”递给小明，提供 2 bits。
- 听觉信号：小红告诉小明“答案是 C”，提供 2 bits。
- 触觉信号：小红“蹬小明椅子 3 次”，提供 2 bits。
之所以称信息是客观物理量是因为它不随信息形式而改变，同一个观察者，对同一件事情接受到的信息与用于传递信息的信号形式无关。
信息也不会消失：https://youtu.be/zUDqI9PJpc8，4:01 开始
[1]: Stone, James V. Information Theory: A Tutorial Introduction (p-17)
视频
信息熵的公式是怎么来的https://www.zhihu.com/video/1071774417134321664不明白信息和熵之间的关系的请先观看
预告（订阅号 超智能体 提供视频下载）
《学习观》08：既然人类无法感知真实，又为什么要努力学习科学
《学习观》09：以为只有你会用食物诱骗小猫，网上这些招数一直在把你当小猫诱骗和洗脑
《学习观》10：老师，我没有传纸条作弊，我在学习信息论
编辑于 2019-07-27 21:18
