可靠通信的速率边界
噪声可能让接收端把发送的符号认错。信道编码把消息映射成较长、具有结构的码字，使接收端有机会发现或纠正错误。对于用 n 个信道二进制位传输 k 个消息位的分组码，码率为 k/n；冗余位占用传输资源，却可以提高译码可靠性。
对离散无记忆信道，编码定理说明：在低于容量的速率下，可以通过适当的、足够长的分组码，把错误概率降到任意小。高于容量则不能保持这种渐近可靠性。“任意小”不等于有限长度的实际传输必然零错误；定理也不是一套自动满足延迟与计算成本要求的现成设备方案。
把每个消息位重复三次，码率就降为三分之一，可用多数表决译码；在独立翻转概率足够低时，这能改善可靠性，但重复码通常不是逼近容量的高效方案。
为什么要优化输入分布
用条件概率 P(y|x) 描述输入 x 产生输出 y 的规律。无记忆意味着在给定当前输入后，当前输出不再依赖此前的输入输出。输入分布 P(x) 决定不同符号使用的频率；在固定信道下，互信息 I(X;Y) 衡量观察输出后平均减少了多少关于输入的不确定性。
离散无记忆信道的容量为 C=maxₚ₍ₓ₎ I(X;Y)，以二为底计算时单位为比特每次信道使用。最大化是为了描述信道允许的最佳信息传输能力，而非某一种偶然选定的消息统计。它不是改变噪声规律；若另有功率等约束，优化必须限制在允许的输入之内。
二元对称信道的例子
设每次发送的 0 或 1 都以相同概率 p 被翻转，而且各次独立。这是二元对称信道，容量为 1−h₂(p)，其中 h₂(p)=−p log₂p−(1−p)log₂(1−p)。等概率使用 0 和 1 可以达到互信息的最大值。
p=0 时容量是每次使用 1 比特；p=1/2 时输出与输入独立，容量为零。p=1 时却并非容量最低：每一位都必然反转，接收端再反转即可恢复，容量仍为 1 比特。这个例子说明，可预测的变换不同于不可消除的随机不确定性，不能仅凭表面上的翻转比例判断通信能力。
带宽、功率与实际吞吐量
在带宽为 B 赫兹、带内噪声功率为 N 的理想加性白高斯噪声信道中，若信号平均功率受限为 S，容量为 C=B log₂(1+S/N) 比特每秒。这个公式同时依赖带宽和信噪比；带宽单位是赫兹，容量单位是信息量除以时间，二者不是同一个量。
例如在该模型中，B=1000 赫兹、S/N=3 时，理论容量为 2000 比特每秒。这是指定假设下的计算，不是对任何一千赫兹链路的承诺。实际系统还受有限码长、协议开销及实现条件影响；比较实测速度与理论容量，必须先统一模型、约束和计量单位。