概率分布而非单条消息的分数
离散随机变量 X 取值为 xᵢ，概率为 pᵢ 时，香农熵写作 H(X)=−Σpᵢlog₂pᵢ。概率非负且总和为一，零概率项按极限取零。它刻画在结果揭晓以前，该分布留下多少平均不确定性。这个量依赖概率模型：只知道结果名单，不知道各结果概率，通常不足以确定熵。
一个概率为 p 的已发生结果具有自信息 −log₂p。小概率结果出现时带来的“意外”较大，但熵还要按出现概率加权平均，不能只挑最罕见的结果计算。熵也不是对某条新闻是否重要的打分；模型中的“信息”有明确的统计含义。
公平与偏置的二选一
若硬币正反面概率各为二分之一，每个结果的自信息都是 1 比特，熵也是 1 比特。若正面概率为四分之一、反面为四分之三，熵为 −0.25log₂0.25−0.75log₂0.75，约为 0.811 比特。正面出现时自信息为 2 比特，反面约为 0.415 比特；加权后才得到平均值。
因此，“罕见结果更令人意外”和“偏置硬币平均熵更低”并不矛盾。若一个结果必然发生，熵为零；对固定的有限结果数，均匀分布达到最大熵。二选一并不自动意味着一比特平均信息，概率结构同样重要。
作为对照，两次相互独立的公平投掷共有四个等概率的有序结果，熵为 2 比特；把同一次的结果抄写两遍，并不会产生这样的独立不确定性。
参考：[2]
单位、相关性与编码
对数底决定单位：二为底得到比特，自然对数给出自然单位，通常称纳特。改换单位会按固定比例改变数值，不会改变哪些分布更不确定。信息量的比特单位还应与实际存储的二进制位区分：一个寄存器位可以存放 0 或 1，但它携带的平均信息取决于两者的概率。
熵为无损编码提供理论尺度。对独立同分布的离散源，使用适当的长分组编码，平均每个符号所需的位数可以逼近其熵；这不是说每个单独符号都能分配小数个位。符号之间有关联时，还要考虑条件熵或熵率，不能简单把单符号熵相加当作整段序列的信息量。
不是意义、真伪或热量
香农的通信模型关注从可能消息中选择并传送哪一条，刻意不把语义价值纳入这项度量。按模型生成的无意义符号也可有很高的熵；一条极重要但早已确定的消息可能不带来新的统计不确定性消除。熵的数值本身不能证明消息真实，也不能代替内容核查。
在统计物理中，针对物理微观状态的概率分布，使用自然对数并乘以玻尔兹曼常数，可得到以焦耳每开尔文表示的熵形式。这揭示了两者的联系，也提示边界：信息熵适用于一般概率模型，热力学解释还需要说明实际物理系统、状态及约束，不能把任意文本的比特数直接叫作热量或热力学熵。