信息论与编码答案 - 图文(2)

二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol

所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲

??0.415 (2) H= (1) I(●)=Log(4)?2 I(－)＝Log?3???4?14Log(4)?34Log??4?3????0.811

2-10

H(Y/黑)= (3) P(黑/白)= H(Y/白)=

(2) P(黑/黑)=

P(白/白)=

P(白/黑)=

(4) P(黑)= P(白)= H(Y)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）H(Y)??p(yj)logj?1312381838?log?2?log?1.24bit/符号 p(yj)3823818（2）H(X,Y)?H(X)?log238?5.25bit/符号

（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号

2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为

?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?

?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率p(xi,yj)为 y1 y2 y3 H(X,Y)??p(xi,yj)log21ijp(xi,yj)Y ?2?7X 24log2247?4?1124log224?4log24

x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24 X概率分布 X x1 x2 x3 H(Y)?3?13log23?1.58bit/符号

P 8/24 8/24 8/24 H(X|Y)?H(X,Y)?H(Y)?2.3?1.58=0.72bit/符号

Y y1 y2 y3 P 8/24 8/24 8/24

2.13 有两个二元随机变量X和Y，它们的联合概率为

Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 =2.3bit/符号

Y概率分布是

并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1)

131??882311p(x2)?p(x2y1)?p(x2y2)???882H(X)???p(xi)logp(xi)?1 bit/symbolp(x1)?p(x1y1)?p(x1y2)?i131p(y1)?p(x1y1)?p(x2y1)???882311p(y2)?p(x1y2)?p(x2y2)???882H(Y)???p(yj)logp(yj)?1 bit/symbolj

Z = XY的概率分布如下：

z?0z2?1??Z???1??71???P(Z)????8??8?

2711??7H(Z)???p(zk)???log?log??0.544 bit/symbol888??8kp(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?1873?0.5?88

13311??1H(XZ)????p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol28888??2ik

p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?1873?0.5?88

13311??1H(YZ)????p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol28888??2jkp(x1y1z2)?0p(x1y2z2)?0p(x2y1z2)?0p(x1y1z1)?p(x1y1z2)?p(x1y1)p(x1y1z1)?p(x1y1)?1/8p(x1y2z1)?p(x1y1z1)?p(x1z1)p(x1y2z1)?p(x1z1)?p(x1y1z1)?p(x2y1z1)?p(x2y1z2)?p(x2y1)p(x2y1z1)?p(x2y1)?p(x2y2z1)?0p(x2y2z1)?p(x2y2z2)?p(x2y2)18H(XYZ)?????p(xiyjzk)log2p(xiyjzk)p(x2y2z2)?p(x2y2)?ijk113??288381333311??1 ???log?log?log?log??1.811 bit/symbol88888888??

(2)

1333311??1H(XY)????p(xiyj)log2p(xiyj)????log?log?log?log??1.811 bit/symbol88888888??ijH(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbol H(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol

(3)

I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbol

I(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.457 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol2-14 (1)

(2) 方法1: 方法2: 2-15 P(j/i)=

P(ij)=

P(i/j)=

=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码答案 - 图文(2)在线全文阅读。