信息论

通信装置在消息到达前，就必须能处理多种可能输入。信息论因此研究可选择的消息及其概率，而不只研究已经选中的那一句话。香农1948年的理论把信源、编码、信道、接收和噪声分开分析，使不同通信设备的问题能够用共同的数学结构描述。

参考：[1]

离散随机变量的熵根据各结果的概率计算平均不确定性。两个等概率结果的选择对应一比特；若其中一个几乎必然出现，观察结果带来的平均新信息便较少。熵取决于概率分布，不能仅由文件占多少字节判断，也不能直接当作内容质量或事实正确性的评分。

参考：[1] [2]

如果符号的出现规律有重复与偏向，编码就可以让常见情况用较短表示，或利用相邻符号之间的关联。源编码研究无损表示平均能缩短到什么程度，具体结论依赖信源模型。一个字符串暂时找不到压缩办法，并不能证明它在一切模型中都没有规律。

参考：[1] [2]

噪声会使接收信号偏离发送信号，信道编码通过有组织的冗余帮助恢复。信道容量描述给定模型下可靠传输的速率界限，而不是某台设备在任意条件下都能达到的速度。把消息语义暂时排除，是为了分析传输问题，并不是断言现实中的意义和使用场景不重要。

参考：[1]