信息论与编码答案 - 图文(5)

（2）因为Y1和Y2 相互独立，所以p(y1y2|x)?p(y1|x)p(y2|x) P(y1y2x) 00 01 10 11 0 1 2 P(y1y200 |x) 0 1 2 1 0 0 0 0 1/2 0 1 0 0 0 1/2 01 10 11 1/4 0 0 y1y2 p 00 0 0 1/4 01 0 1/4 0 0 0 1/4 10 1/4 11 1/4 1/4 1/4 111?I(X;Y1Y2)?H(Y1,Y2)?H(Y1Y2|X)?log4?log1?log1??2log2444bit/符号 =1.5bit/符号

由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。 （3）

I(X;Y1|Y2)?H(X|Y1)?H(X|Y1,Y2)?H(X,Y2)?H(X)?[H(X)?I(X;Y1,Y2)]?[H(X)?I(X;Y2)]?[H(X)?I(X;Y1,Y2)]?I(X;Y1,Y2)?I(X;Y2)

=1.5-1=0.5bit/符号

表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得

I(X;Y2|Y1)?I(X;Y1,Y2)?I(X;Y1)=1.5-0.5=1bit/符号

表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量

欢迎下载！ 第三章

?2?3?1?3.1 设二元对称信道的传递矩阵为?31?3?2??3?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1)

3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symboljI(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol

2)

1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol其最佳输入分

33331布为p(xi)?

23-2某信源发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。接受端有3

种符号yi，j＝1，2，3，转移概率矩阵为P???1/21/20?。 ??1/21/41/4?（1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度H(Y|X)； （3） 计算信道容量。

?1/21/20?解：P??? 1/21/41/4??联合概率p(xi,yj)

X Y y1 y2 y3 x1 a/2 a/2 0 x2 (1?a)/2 (1?a)/4 (1?a)/4 则Y的概率分布为 Y y1 y2 y3 1/2 (1?a)/4 (1?a)/4 （1）H(Y)?11+a2log2?4log41?a?1?a4log41?a

?1116a1?a2log2?4log1?a2?4log1?a ?12log2?14log16?14log11?a2?a4log1?a1?a ?311a1?a2log2?4log1?a2?4log1?a 取2为底

H(Y)?(32?11a1?a4log21?a2?4log21?a)bit （2）H(Y|X)????a?2log12?a2log12?1?a2log12?1?a11?a1?4log4?4log4?? ??alog2?3(1?a)2log2

?3?a2log2 取2为底

H(Y|X)?3?a2bit ?c?maxp(xI(X;Y)?max?H(Y)?H(Y|X)??max?a11a1?a?i)p(xi)p(xi)??2log2?4log1?a2?4log1?a???(a11a1?a2ln2?4ln1?a2?4ln1?a)?a

?112a112ln2?41?a2?4ln?a1?a?a4(?11?a?11?a) ?1a2ln2?11?aa22(1?a2)?4ln1?a?41?a2 ?12ln2?11?a4ln1?a = 0

1?a1?a?14 ?a?35

?c?13111312?5log2?4log1???log4 25945?310log2?125314log16?20log4 ?310log2?1532log4?10log2 取e为底

15?log 24

3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解：

由题意可知该二元信道的转移概率矩阵为：

?0.990.01?P??? 0.010.99??为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

C?logs?H(P)?log2??pilogi?121?0.92bit/signpi1Ct?C?1000C?920bit/sect

3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道容量C

的大小。

e 2

1－e

2

X 0

1 1－e

Y 0

1 1

e

00??1?,此信道为非奇异矩阵,又r=s,可利用方程组求解 01?ee解: 信道矩阵P=????e1－e??0?

?3j=1P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3)

j=13ìb1=0???í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)解得b1=0

b2=b3=(1-e)log(1-e)+eloge

所以

C=log?2b=log[20+2×2(1-e)log(1-e)+eloge]

j=log[1+21-H(e)]=log[1+2(1-e)(1-e)ee]

ì11?1-C-C?P(b)=2b=2==1?(1-e)e1-H(e)?1+2(1-e)e1+2? ?ee?(1-e)e??P(b2)=2b2-C=í(1-e)e?1+2(1-e)e???P(b3)=2b3-C=P(b2)??????3而 P(bj)=?P(ai)P(bj|ai) (j=1,2,3)

i=1jìP(b1)=P(a1)???得íP(b2)=P(a2)(1-e)+P(a3)e ?????P(b3)=P(a2)e+P(a3)(1-e)1所以 P(a1)=P(b1)= (1-e)e1+2(1-e)e(1-e)eee P(a2)=P(a3)=P(b2)=P(b3)=(1-e)e1+2(1-e)e当e=0时,此信道为一一对应信道,得

C=log3, P(a1)=P(a2)=P(a3)=1 311当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)=

243.5 求下列二个信道的信道容量，并加以比较

?p??（1）??p???p??p???p??2??? （2）??p??2????p??p??2?00?? 2???其中p+p=1 解：

（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所

?p??组成的矩阵??p???p????2???,??而这两个子矩阵满足对称性，因此可直接利用准对??p?????2??称信道的信道容量公式进行计算。 C1=logr-H(p1’ p2’ p3’)-?NklogMk

k?12其中r=2,N1=M1=1-2? N2=2? M2=4? 所以

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码答案 - 图文(5)在线全文阅读。