从电话线路提出共同问题

1948年7月和10月,美国贝尔电话实验室研究员克劳德·香农在《贝尔系统技术期刊》分两部分发表《通信的数学理论》。电话、电报、无线电和电视使用不同装置,却都要把一个地点产生的消息送到另一个地点。线路频带有限,信号会受噪声扰动,工程师需要判断怎样编码、该投入多少功率,以及还能把传输速度提高多少。

奈奎斯特此前分析过电报速度和频率范围的关系,拉尔夫·哈特利在1928年的论文中用可选择信号的数量建立信息的对数量度。香农继承这些问题,同时把消息出现的概率、符号之间的关联以及噪声纳入统一分析。研究对象由某一种电路的性能,转向一类通信系统共同遵守的限制。

参考:[1] [2]

把系统拆成可分析的环节

论文中的通信系统包括信源、发送器、信道、接收器和目的端,另列噪声源。信源产生消息,发送器把它转换成适于传输的信号;信道可以是导线、无线电频段或其他物理路径;接收器再从收到的信号恢复消息。把这些环节分开后,编码方案和线路性能就能各自讨论,再合起来评估。

例如电报文字先变成电流的通断,线路末端根据电流恢复字母。要比较两种方案,不能只看每秒开关多少次,还要知道每个可选符号代表多少种可能,以及哪些符号序列真正会出现。这里的信息是工程量:一条消息可以在传输中被准确复原,却仍然包含错误事实;这种真伪问题不由信道模型判断。

参考:[1] [3]

消息的可预期程度怎样计量

香农把离散信源看作按一定概率产生符号的过程,以熵表示平均不确定性。若两个结果机会相等,每次选择提供一比特信息;若某个结果几乎必然发生,平均需要消除的不确定性就较少。比特以二为底计量,能把不同物理装置的选择能力放到同一尺度上。

这并不意味着字母越少的句子一定信息越少。自然语言中的字母不等概率,前后搭配也有规律,某些部分可以从上下文预测。按照论文模型,压缩编码可以利用这些统计规律,用较短的平均码长表示常见情况,把较长码字留给少见情况。所谓冗余因此具有精确用途:有些可减少以节省传输,有些又能帮助抵抗错误。

参考:[1] [3]

有噪声仍可可靠通信

对于含噪信道,香农区分发送的符号和接收的符号,并用条件概率描述混淆。在规定的信道模型下,信道容量给出可靠传输速率的边界。重要结论是:只要速率低于容量,并允许合适的编码和足够长的码组,就能把错误概率压到任意小;超过该边界,单靠更巧妙的编码不能保持同样的可靠目标。

这是一项存在性和极限结果,不是论文发表当天就交付了一台达到极限的机器。工程师仍需设计可算、可制造、延迟可接受的编码器与译码器。一个直观的取舍是,在含噪线路上加入有规律的冗余,接收端便能区分原本相近的消息;代价是同样数量的原始数据要占用更多传输资源。

论文也研究连续信号。对特定的带限高斯噪声模型,容量受带宽、信号功率与噪声功率共同限制。加大功率与扩展频带并非没有差别的替代方案,这使调制方式之间的比较有了可以计算的基准。

参考:[1] [3]

从期刊论文到后续设计

1949年,伊利诺伊大学出版社出版香农与沃伦·韦弗合署的《通信的数学理论》,收入香农论文及韦弗的阐释文章。期刊中的数学工作由此获得更广泛的读者。韦弗讨论了更宽的传播问题,而香农模型最直接处理的仍是符号选择、编码与重建的技术关系。

此后,压缩、纠错和数字通信研究不断寻找接近理论界限的实际办法。1948年的贡献在于同时说明可以节省什么、噪声条件下能够达到什么,以及哪些限制不会因更换某个器件而消失。它为通信设备设计提供共同语言,也使研究者能够把一套具体系统与清楚定义的极限相比较。

参考:[1] [3]