2014-2015第二学期信息论与编码-期末考试试卷(A卷)答案

山东科技大学2014—2015学年第二学期

《信息论与编码》期末考试试卷（A卷）答案

一、 填空（每空3分，共36分，）

1、可靠性 2、 不确定性 3、H(XY) H(X) H(X|Y)

4、信源概率P(X) 5、 1.75bit 6、信源必须传送给用户的信息量 7、 找紧致码 8、R'

logM

R(D) 9、 3 10、 0.749bit n

11、 0.0817bit 12、E=(01000000) 二、简答题（每题8分，共24分）

1、请给出信息熵的物理含义。

答：三种物理含意(1)表示信源输出后，每个消息所提供的平均信息量；(2)表示信源输出前，信源的平均不确定性；(3)表征变量X的随机性。

2、请叙述数据处理定理，并说明简要含义。 答：对于通信系统

有 H(X) I(X;Y) I(X;Z) I(X;W) L

说明，在任何信息传输系统中，最后获得的信息至多是所提供的信息。

3、若码符号个数r 2，问是否存在码长li 1,3,3,3,4,5,5的即时码，为什么？如果有，试构造出一个这样的码。

答：因为它满足Craft不等式，所以存在这样的即时码。 此码为： {0,100,101,110,1110,11110,11111}

三、计算题(本题40分，第1、2小每题15分，第3小题10分)

X a1 0a1 1a1 2a1 3

1、设离散无记忆信源 8 ，其发出的消息为

p(x)44

（202120130213001203210110321010021032011223210），求

（1） 此消息的自信息是多少？

（2） 在此消息中平均每个符号携带的信息量是多少？

解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信

息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：

I(a0 0) log

8

1.415比特 3

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库2014-2015第二学期信息论与编码-期末考试试卷(A卷)答案在线全文阅读。