《信息论与编码技术》课程中平均互信息的教学探讨
作者：陈燕燕
来源：《教育教学论坛》2014年第28期
摘要：平均互信息是信息论与编码技术中用来计算信道容量、信息率失真函数和信道剩余度的重要物理量。通过一道典型例题来讲解求平均互信息的不同方法：根据平均互信息的定义求、根据损失熵求、根据噪声熵求、根据信息熵的强可加性求，最后用MATLAB语言进行编程验证，实验表明四种方法求出的结果是一致的。在课堂教学时，教师应鼓励学生灵活运用各种方法，做到举一反三。
关键词：平均互信息；定义法；损失熵法；噪声熵法；强可加性法
中图分类号：G642.41 文献标志码：A 文章编号：1674-9324（2014）28-0091-03
《信息论与编码技术》是电子类相关专业的一门重要的专业必修课，其中自信息量、信息熵、互信息都是为学习平均互信息做铺垫的，而平均互信息又是求解信道容量、信道剩余度和信息率失真函数的重要工具。在教学过程中，学生反映平均互信息概念抽象，计算复杂，公式颇多，难以区分。由于学生的基础相对薄弱，不能灵活运用公式推导和基本性质相结合进行求解。因此，在课堂教学中，采取淡化数学推导，重点讲清平均互信息的实际意义、作用等，关键是如何应用平均互信息的定义、信息熵的性质等计算出平均互信息。平均互信息的计算方法有多种，如根据平均互信息的定义求、根据损失熵求、根据噪声熵求、根据信息熵的强可加性求等。
下面通过教材[1]一个典型例题来探讨平均互信息的四种求解方法，并通过MATLAB编程来验证结果的正确性。
一、例题讲解
题目：已知信源X的概率p（x）和信道传递概率p（y|x）分别如下所示：
XP（x）= x■ x■■ ■，P（y|x）=■ ■■ ■
求平均互信息I（X；Y），并用MATLAB验证结果。
本文来源：https://www.2haoxitong.net/k/doc/20cd010e59f5f61fb7360b4c2e3f5727a5e924a1.html
文档为doc格式