数学与电路在学习中相遇
香农于1936年在密歇根大学完成数学和电气工程学业,随后赴麻省理工学院深造,并参与范内瓦·布什的微分分析机工作。他的硕士论文把布尔代数用于继电器和开关电路,借助符号规则分析电路组合,使逻辑表达与具体开关结构之间可以建立系统对应。
贝尔实验室的通信问题
1941年,香农进入贝尔实验室,研究工作涉及通信与保密系统。1948年发表的《通信的数学理论》把信源、编码、信道和接收组织成可分析的模型。重点是不同消息选择所含的不确定性,以及消息经过有限能力、可能带噪声的信道时,能够怎样可靠地传递。
信息量与意义分开处理
这套理论用概率描述消息选择,以信息量和信道容量讨论压缩与传输的界限。测量的对象不是一句话是否真实、优美或重要,而是在给定模型下消息带来多少不确定性的减少。不同媒介因此可以在共同尺度上讨论传输问题,具体编码仍需满足理论假设并承担实现成本。
参考:[2]
教学与可操作的实验
香农后来在麻省理工学院任教,也制作能探索迷宫的机电鼠等实验装置,并研究计算机下棋。这些工作把数学问题与可以观察、运行的模型结合起来。其职业经历连接电路、通信和机器行为,但各项成果的任务与假设并不相同;信息论也不是对所有智能或语义问题的一次性答案。