信息论与编码实验指导(2)

3 实验三 香农编码

一、实验目的

1. 掌握香农编码的计算方法。

2. 练习应用matlab软件进行香农编码的软件实现。

二、实验原理

香农编码方法的步骤

按信源符号的概率从大到小的顺序排队不妨设

p(x1)?p(x2)?......?p(xn)

三、实验内容

设信源

x3x4x5x6x7??X??x1x2?P(X)???0.20.190.180.170.150.10.01?????(1) 编码实现信源熵H(X)； (2) 编二进制香农码；

(3) 计算平均码长和编码效率。

4 实验四 哈夫曼编码

一、实验目的

1. 掌握哈夫曼编码的原理及编码步骤

2. 练习matlab中哈夫曼编码函数的调用及通信工具箱的使用

二、实验原理

通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号，就通过对信源进行编码，使通信系统与信源的统计特性相匹配。

若接收端要求无失真地精确地复制信源输出的信息，这样的信源编码即为无失真编码。即使对于一个小的时间段内，连续信源输出的信息量也可以是无限大的，所以对其是无法实现无失真编码的；而离散信源输出的信息量却可以看成是有限的，所以只有离散信源才可能实现无失真编码。

凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。

变字长编码的最佳编码定理：在变字长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小顺序排列，则平均码字长度一定小于俺任何顺序排列方式得到的码字长度。

哈夫曼编码就是利用了这个定理，讲等长分组的信源符号，根据其概率分布采用不等长编码。概率大的分组，使用短的码字编码；概率小的分组，使用长的码字编码。哈夫曼编码把信源按概率大小顺序排列，并设法按逆次序分配码字的长度。在分配码字的长度时，首先将出现概率最小的两个符号相加，合成一个概率；第二步把这个合成的概率看成是一个新组合符号的概率，重复上述做法，直到最后只剩下两个符号的概率为止。完成以上概率相加顺序排列后，再反过来逐步向前进行编码。每一步有两个分支，各赋予一个二进制码，可以对概率大的编为0码，概率小的编为1码。反之亦然。

哈夫曼编码的具体步骤归纳如下：

1. 统计n个信源消息符号，得到n个不同概率的信息符号。

2. 将这n个信源信息符号按其概率大小依次排序：

p(x1) ≥ p(x2)≥ …≥ p(xn)

3. 取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率

相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。 4. 将剩余的信息符号，按概率大小重新进行排序。

5. 重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排

序。 6. 如此反复重复n-2次，最后只剩下两个概率。

7. 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相

应的码字，构成霍夫曼编码字。编码结束。

哈夫曼编码产生最佳整数前缀码，即没有一个码字是另一个码字的前缀，因此哈夫曼编码是唯一码。

编码之后，哈夫曼编码的平均码长为：

K??p(xi)Ki

i?1n哈夫曼编码的效率为：

??

信源熵H(x)=

平均码长K例2-1 设信源共7个符号消息，其概率如下表所示 信源消息符号xi x1 x2 0.19 x3 0.18 x4 0.17 x5 0.15 x6 0.10 x7 0.01 符号概率P（ xi ） 0.20

其编码过程如下所示：

该哈夫曼码的平均码长为

编码效率为：

7K??p(xi)Ki?2.72码元/符号i?1??H(X)2.61??0.9596比特/码元K2.72三、实验内容

为某一信源进行哈夫曼编码。该信源的字符集为X={x1, x2, … x6 }，相应的

概率矢量为：P=(0.30,0.25,0.21,0.10,0.09,0.05)，即X，P的概率空间为：

x2x3x4x5x6??X??x1?P???0.30 0.25 0.21 0.10 0.09 0.05? ????根据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效

率。

调用matlab哈夫曼编码函数进行哈夫曼编码，与人工编码结果做比较。 1. huffmandict函数： 为已知概率分布的信源模型生成哈夫曼编解码索引

表。 调用方法如下：

[dict，avglen] = huffmandict (symbols, p) [dict，avglen] = huffmandict (symbols, p, N) [dict，avglen] = huffmandict (symbols, p, N, variance)

四、实验要求

1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的

管理。 3. 认真填写实验报告。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库信息论与编码实验指导(2)在线全文阅读。