信息论与编码实验指导

《信息论与编码》实验指导书

计算机与通信工程学院

2010年10月

1 实验一 绘制信源熵函数曲线

一、实验目的

1. 掌握离散信源熵的原理和计算方法。

2. 熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲

线的绘制。 3. 理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意

义。

二、实验原理

1. 离散信源相关的基本概念、原理和计算公式

产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i个变量xi发生的概率为pi=P{X=xi}。则：

定义一个随机事件的自信息量I（xi）为其对应的随机变量xi出现概率对数的负值。即：

I（xi）= -log2 p(xi)

定义随机事件X的平均不确定度H（X）为离散随机变量xi出现概率的数学期望，即：

H(X)??p(xi)I(xi)???p(xi)logp(xi)

ii单位为 比特/符号 或 比特/符号序列。

平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。

必须注意一下几点：

a) 某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，

必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。 b) 信息量则只有当信源输出符号而被接收者收到后，才有意义，这就

是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。

c) 熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的

平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。 d) 当某一符号xi的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，

为此规定这时的 p(xi)log p(xi) 也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。 例1-1，设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为

? X??01??P???p q ? ????则该二元信源的信源熵为：

H(X) = - p log p – q log q = - p log p – (1- p) log (1- p) 即：H (p) = - p log p – (1- p) log (1- p) 其中0 ≤ p ≤1

P=0时，H(0) = 0 P=1时，H(1) = 0

2. MATLAB二维绘图

例对函数y= f(x)进行绘图，则用matlab中的命令plot(x, y)就可以自动绘

制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图形窗口，则开一个新的图形窗口绘图。

例1-2，在matlab上绘制余弦曲线图，y = cos x，其中0 ≤ x ≤ 2?。 >>x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2 >>y=cos(x)； %计算余弦向量 >>plot(x,y) %绘制图形

三、实验内容

用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。

2 实验二 离散信道容量

一、实验目的

1. 掌握离散信道容量的计算。 2. 理解离散信道容量的物理意义。

3. 练习应用matlab软件进行二元对称离散信道容量的函数曲线的绘制，并

从曲线上理解其物理意义。

二、实验原理

信道是传送信息的载体—信号所通过的通道。

信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。

二元对称信道BSC（Binary Symmetric Channel）

二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即

?p(Y?0/X?1)?p(Y?1/X?0)?p?

p(Y?1/X?1)?p(Y?0/X?0)?1?p?这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称

信道，简称BSC信道），如下图所示：

信道容量公式：

C?maxI(X,Y)

{p(x)}

三、实验内容

BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p的曲线。

根据曲线说明其物理意义。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库信息论与编码实验指导在线全文阅读。