信息论与编码

1、信息论与编码课程教学大纲InformationTheoryCodec,一,课程教学目标1,性质和地位,信息论与编码是通信工程,与计算机通信,专业的一门重要的专业课,该课程是继通信原理与程控交换之后,为从事通信信息的编码研究学习而开设的专业必。

2、第第4章章信道与信道容量信道与信道容量第4章信道与信道容量4,1信道的描述和分类信道的描述和分类4,2信道容量的定义信道容量的定义4,3离散信道的信道容量离散信道的信道容量4,4离散无记忆信道容量的迭代算法离散无记忆信道容量的迭代算法4,5。

3、目录,信道分类,单符号离散信道及其容量,数学模型,信道容量,离散信道容量的迭代算法,离散序列信道及其容量,信源与信道的匹配,连续信道及其容量,连续单符号加性信道,多维无记忆加性连续信道,加性高斯白噪声波形信道信道就是信息传输的通道,是通信系。

4、无失真无失真编码编码等长编码变长编码香农第1定理信息率受到熵的限制信息率受到熵的限制,平均码长平均码长不小于熵不小于熵限失真限失真编码编码平均码长受到信息平均码长受到信息率失真函数限制率失真函数限制香农第香农第3定理定理在平均失真一定条在平。

5、目录l2,2信源的数学模型和分类信源的数学模型和分类l2,3离散信源的熵与互信息离散信源的熵与互信息l2,4熵的性质熵的性质l2,5离散信源序列的熵离散信源序列的熵l2,6连续信源的熵与互信息量连续信源的熵与互信息量l2,7信源相关性与冗余。

6、第第8章章限失真信源编码限失真信源编码第第8章章限失真信源编码限失真信源编码8,1失真函数与平均失真失真函数与平均失真8,2信息率失真函数及其性质信息率失真函数及其性质8,3信息率失真函数的计算信息率失真函数的计算8,4保真度准则下的信源编。

7、第第7章章无失真信源编码无失真信源编码第第7章章无失真信源编码无失真信源编码7,1信源编码的作用与构成信源编码的作用与构成7,2等长信源编码的相关概念和编码定理等长信源编码的相关概念和编码定理7,3变长码的基本概念变长码的基本概念7,4变长。

8、第第1章章绪论绪论第第1章章绪论绪论1,1信息的定义与性质信息的定义与性质1,2信息论的主要研究内容信息论的主要研究内容1,3信道编码的研究内容与发展简史信道编码的研究内容与发展简史1,4信源编码的研究内容与发展简史信源编码的研究内容与发展。

9、第一章绪论v信息论信息论,InformationTheory,是通信中的数学理论,是研究是通信中的数学理论,是研究信息的传输,存储和处理的科学信息的传输,存储和处理的科学回答两个回答两个基本问题基本问题数据压缩信息传输速率,无失真压缩无失真。

10、信息论研信息论研究问题究问题有效性有效性可靠性可靠性本章和后续章节第4,5章讨论无失真编码限失真编码无失真无失真编码编码等长编码变长编码信息率受到熵的限制信息率受到熵的限制,平均码长平均码长不小于熵不小于熵香农第1定理限失真限失真编码编码平。

11、目录,信源编码的基本概念,渐近等同分割性,信源无失真编码,等长码,变长码,信息率失真函数及性质,失真测度,信息率失真函数的定义,信息率失真函数的性质,信息率失真函数的计算,信息率失真函数的迭代算法,香农第三定理通信通信本质本质信源信源信宿信。

12、第第3章章离散无记忆信道与互信息离散无记忆信道与互信息第第3章章离散无记忆信道与互信息离散无记忆信道与互信息3,1单符号离散无记忆信道及其转移概率单符号离散无记忆信道及其转移概率3,2信道疑义度信道疑义度3,3范诺不等式范诺不等式3,4互信。

13、目录v1,线性分组码1,1生成矩阵和校验矩阵生成矩阵和校验矩阵1,2一些特殊的线性分组码一些特殊的线性分组码1,3循环码循环码1,4BCH码,码,RS码码1,5线性分组码的硬判决译码线性分组码的硬判决译码v2,卷积码v2,4删余卷积码删余卷。

14、第第6章章离散信源及其信息冗余离散信源及其信息冗余第第6章章离散信源及其信息冗余离散信源及其信息冗余6,1信源的描述与分类信源的描述与分类6,2离散无记忆信源的扩展信源离散无记忆信源的扩展信源6,3离散平稳信源离散平稳信源6,4马尔可夫信源。

15、第第2章章离散无记忆信源与信息熵离散无记忆信源与信息熵第第2章章离散无记忆信源与信息熵离散无记忆信源与信息熵2,1离散无记忆信源离散无记忆信源2,2自信息和熵自信息和熵2,3熵函数的性质熵函数的性质2,4联合事件的熵及其关系联合事件的熵及其。

16、第第5章章有噪信道编码有噪信道编码第第5章章有噪信道编码有噪信道编码5,1最简单的编码方法最简单的编码方法5,2联合联合典型序列典型序列5,3有噪信道编码与有噪信道编码与Shannon第二编码定理第二编码定理5,4Shannon理论对信道编。