信息论与编码

第一问见图片。

第二问：

二元对称信道的信道容量为 C=1-H(p)=1-(-0.98log0.98-0.02log0.02)=0.8586 bit/symbol。

信源（消息序列）的信息量为 14000 symbol * H(1/2) = 14000 bit ；若10秒内传输这个消息序列，则每秒需要传输的符号数为 14000bit / 10s =1400 bit/s ； 则输入信道的数据速率为 R=1400 bit/s / 1500 symbol/s =0.9333 bit/symbol，则 R>C，根据信道编码定理 （香农第二定理），消息不能无失真的传输。

哈弗曼编码就是为了让使用频率高的字符用更短的码来编码，从而减少编码总长度，提高信息有效率。哈夫曼编码使用哈夫曼树，先看所有字符的使用频率，最低的两个字符在树最下端，这两个叶子合成一个节点，概率相加得到0.26，就相当于把这两个字符合到一起，然后再看下一位编码；再选出两个概率最低的字符作为叶子节点，放到树的下端，再合并到一起0.35.。。。。以此类推，直到只剩下一个节点，也就是树根，概率就是所有的字符加起来也就是1.

---