第8章习题及答案(1)

第8章习题及答案

一．用信息论的理论简单解释下列现象。

1. 摘自美国国防部信息研究所研究员Jacob D. Bekenstein：

如果你问别人物理世界是由什么构成的，他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话，就知道：只给汽车厂的机器人金属和塑料，它们不可能做出任何有用的东西，只有给它们下达如何焊接的指令它们才能组装出汽车。我们身体细胞中的核糖体拥有阿米诺酸组建模块和ATP合成为ADP过程中释放的能量，但如果没有细胞核中DNA所携带的信息，同样无法合成任何蛋白质。

解：信息是组成客观世界并促进社会发展的最基本的三大要素之一，信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次，比物质和能量更重要。

2. 一个最古老的问题：已知12个球中有一个球的重量与其它球不同，其它球均等重。用无砝码的天平至少须称3次才能找出此球。

解：

天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为：

?log112?12?log24

因为 3log3＞log24

∴3次测量可以找出该球

3. 中新网3月23日电 据路透社报道，美国联邦法院今天裁决：特莉·夏沃的进食管已于18日被移除，即被执行安乐死。法院今日的裁决意味着，这名因心脏病而导致脑部瘫痪，卧床15年之久的美国植物人走到了生命的尽头。

解：该新闻带来的信息是：特莉·夏沃的脑部瘫痪已经没有了信息，她的存在已经没有任何信息量，没有信息就不能更好地利用物质和能量，她的存在也没有价值。

二．计算题。

1. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%。

（1） 若问一位男士：”你是否是色盲？”他的回答可能是”是”，可能是”否”，问这两

个回答中各含多少信息量，从计算的结果得出一个什么结论 （2） 在第一问中，平均每个回答中含有多少信息量？

（3） 如果问一位女士，问她回答（是或否）前后不确定性各为多少？ 解： （1）

p(xY)?7%I(xY)??log2p(xY)??log20.07?3.837 bitp(xN)?93%I(xN)??log2p(xN)??log20.93?0.105 bit

结论：在男性中患有红绿色盲的人比未患有的人少的多，被询问的人回答否的发生概率更大，则含有的信息量要少 (2)

2H(X)???p(xi)log2p(xi)??(0.07log20.07?0.93log20.93)?0.366 bit/symboli

(3)

2H(X)???p(xi)logi2p(xi)??(0.005log20.005?0.995log20.995)?0.045 bit/symbol回答后不确定性变为0

2. 有两个二元随机变量X和Y，它们的联合概率为： X

Y x1=0 x2=1 y1=0 1/8 3/8

y2=1 3/8 1/8

求H(X)、H(Y/X)、H(XY)、I(X;Y)

解：

p(x1)?p(x1y1)?p(x1y2)?p(x2)?p(x2y1)?p(x2y2)?18?3818??121238?H(X)???p(xi)log2p(xi)?1 bit/symbolip(y1)?p(x1y1)?p(x2y1)?p(y2)?p(x1y2)?p(x2y2)?18?3818??121238?H(Y)???p(yj)log2p(yj)?1 bit/symbolj

H(XY)???i?p(xyij1333311??1)logp(xy)???log?log?log?logj2ij2222???1.811 bit/symbol8888888??8H(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolI(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbol

3. 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？

解： 1)

H(X)?logH(XN2n?log2128?7 bit/symbol56)?NH(X)?3?10?7?2.1?10 bit/symbol

2)

H(X)?logH(XN2n?log210000?13.288 bit/symbol)?NH(X)?1000?13.288?13288 bit/symbol

3) N?H(XN)H(X)?2.1?1013.2886?158037

4. 离散无记忆信源 P(x1)=1/2； P(x2)=1/4； P(x3)=1/8； P(x4)=1/8；

(1) 计算对信源的逐个符号进行二元定长编码 码长和编码效率；

(2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 你做出一个结论。 解： （1）

4H(X)???pklog2k?1pk??(?0.5?0.25?2?0.125?3?0.125?3)

?1.75bit/symbol定长编码码长：

L?logr?log2?2q4

??H(X)R?1.752log22?0.875 编码效率： 0

（2）

二进制哈夫曼码：

x1 0.5 0 0

x2 0.25 1 10

0

1 x3 0.125 1 0.5 1

x4 0.125 0.25

平均码长：

?4L??p(xi)li?0.5?1?0.25?2?0.125?3?0.125?3i?1?1.75

编码效率：

??H(X) L?1 （3） 结论：变长编码比定长编码效率高 5. 设多项式

g(x)?x10?x8?x5?x4?x2?x?1

为GF（2）上分组长度为15的一个循环码的生成多项式。 （1） 求生成矩阵G。

（2） 这个码能检测多少个错误？ （3） 这个码能纠多少个错误？ 解：

(1)生成矩阵G（x）：

110 111 ?xk?1g(x)??k?2?xg(x)???G(x)??:??xg(x)???g(x)????1?0???0??0??001001010010100101001110001101011110111100111001100010??1?0??0?1??0001010011011

(2) 能检测出的错误：因为（15，11）循环码的最小距离为d0=4，所以可检测2位错 (3) 能纠的错误：1位

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库第8章习题及答案(1)在线全文阅读。