信息论基础 - 期末试卷 A 答案

大学 2008-2009 学年第一学期

2006级 信息与计算科学专业 本 科 卷 A 参考答案与评分标准

课程名称 信息论基础

课程号（？？？） 考试形式（闭卷笔试） 时间（120分钟））

一、判断题：本题共10小题，每题2分，满分20分。

1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。

二、填空题：本题共7小题，每空2分，满分20分。

1、码字的最小距离（）;

2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；

3、系统码; 4、无失真信源编码定理，信道编码定理，限失真信源编码定理;

5、信道和信源都是无记忆； 6、香农编码； 7、。

三、计算题：本题共4小题，满分50分。

(15分)

解：

联合概率

则的概率分布为

------------------（2分）

（1） ------------------（2分）

；

取2为底

； ------------------（1分）

（2）

；

取2为底，； ------------------（2分）

（3）。

------------------（2分）

取为底，令

= 0；

即，可得 ------------------（2分）

所以

； ------------------（2分）

最佳入口分布为：。 -------------------（2分）

2、(15分)

解：根据状态转移图，列出转移概率距阵------------------（1分）

（1）令状态平稳后的概率分布为，则

得到 计算得到------------------（3分）

（2）由齐次遍历可得

------------（2分）

（3）符号 ---------------（2分）

由最大熵定理可知存在极大值：

又，所以；

当p=2/3时；

0时

2/3时 ----------------（2分）

所以当p=2/3时存在极大值,且符号 -------------（3分）

所以 -------------------（2分）

3、(10分)

解：构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数满足

-------------（3分）

信源的三元霍夫曼码如下：

-------------（5分）

得信源符号 s1 s2 s3 s4 s5 s6 s7 s8

三元紧致码 1 00 02 20 21 22 010 011。 -------------（2分）

4、(10分)

解：（1）该码的一致校验矩阵为

-------------（2分）

因为二元码的纠错范围是7个一位错，所以各陪集首和与之相对应的如下：

―， ―

―， ―

―， ―

― -------------（4分）

（2）当的时候，；对照最小距离译码准则与和之间的关系表，知。

所以。 -------------（4分）

四、证明题(10分)：

证明：设概率矢量，根据熵函数表达式：

；

； ① -------------（2分）

② -------------（2分）

③ -------------（2分）

②+③得：

-------------（2分）

所以， ①=②+③ 结论得证

（2）等式的物理意义：

该等式是熵函数递增性性质的数学表达。表明了若原信源（个符号的概率分布为）

中有一符号划分成个元素（符号），而这个符号的概率之和等于原符号的概率，则新信源的熵增

加。增加了一项由于划分而产生的不确定性量。 -------------（2分）

本文来源：https://www.2haoxitong.net/k/doc/e190276e58fafab069dc028b.html