information-theory

The repository contains the core knowledge of Information Theory and Coding, organized by knowledge points and can be used as a reference for teaching or studying.

本项目包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。

Content

Chapter	section	content
绪论	绪论	信息、消息和信号 | 信息论研究的内容 | 信息论发展历程&香农
信源	信源分类	输出的信号取值分类 | 输出信号(符号间)的依赖关系
	信源数学模型	单符号离散无记忆信源 | 多维离散无记忆信源 | 离散无记忆信源的扩展源
	自信息	信息量 | 自信息定义 | 联合自信息 | 条件自信息
	信息熵	信息熵的物理含义
	联合熵和条件熵	联合熵 | 条件熵
	熵速率	熵速率 | 各类熵的关系
	序列熵	离散无记忆信源的序列熵 | 离散有记忆信源的序列熵
	极限熵和冗余度	极限熵 | 冗余度
离散信源的无失真编码	编码的基本概念	信源编码 | 分类 | 前缀条件
	无失真信源编码	无失真定长编码定理 | 无失真变长编码定理 | 无失真信源编码定理
	霍夫曼编码	最佳变长编码 | 霍夫曼编码 | L-Z编码 | 总结
信源的限失真编码定理	互信息	有（限）失真信源编码 | 互信息定义 | 互信息的性质
	平均互信息	平均互信息 | 平均互信息与各类熵的关系 | 维拉图 | 条件熵 | 平均互信息的性质
	失真的概念和定义	信息率失真函数 | 限失真信源编码的必要性 | 失真度的定义 | 系统模型
	失真函数	失真函数 | 失真矩阵 | 平均失真
	信息率失真函数	信息率失真函数 | 信道容量 | 平均互信息再讨论
信息率失真函数与信源的限失真编码定理	R(D) 的定义域	连续信源的熵 | R(D) 的定义域
	信息率失真函数的性质	信息率失真函数的性质 | 实现限失真信源编码的方式
	离散信源 R(D)计算	离散信源 R(D)计算 | 二元对称信源的 R(D) 函数 | 高斯信源的 R(D)函数 | 限失真信源编码定理
信道	信道的定义和分类	狭义信道 | 广义信道
	信道的数学模型	广义信道的数学模型 | 连续信道的数学模型 | 离散信道数学模型 | 半连续信道
	恒参信道特性及其对信号传输的影响	无失真信道满足的条件 | 时延特性 | 群时延特性 | 带通信号的复包络无失真 | 信道不理想对输出信号的影响
	随参信道特性	随参信道数学模型的建立 | 随参信道对信号传输的影响 | 多径随参信道的时延扩展与相干带宽 | 总结
	移动信道的多普勒扩展及相干时间	多普勒扩展 | 信道的相干时间 Tc 和多普勒频率扩展 | 多普勒扩展对衰落的影响 | 同时考虑随参信道的多径时延扩展及多普勒扩展对衰落的影响 | 抗衰落的方案 | 总结
	分集	分集的概念 | 分集的方法 | 路径合并方式 | Alamouti空时分组码(STBC)简介
	信道容量	信道容量的定义 | 三种特殊信道的容量 | 典型信道的信道容量 | 信源与信道的匹配
信道编码	信道编码	信道编码的基本概念
	基本线性分组码与性能参数	线性分组码(n,k)定义 | 信道编码性能参数 | 基本线性分组码 | 差错控制类型对信道编码的要求 | 有限域运算、矩阵运算
	线性分组码	基本概念 | 编码-生成矩阵 | 检错-监督矩阵
	系统码的编译码	线性分组码的编码器 | 线性分组码的译码器 | 汉明码 | 总结
循环码	循环码	循环码的特点 | 基本概念 | 循环码的多项式描述
	循环码的编码	循环码的编码 | 循环码的伴随多项式译码 | 循环冗余校验 (Cyclic Redundancy Check, CRC)
	循环码生成多项式与生成矩阵	循环码生成多项式与生成矩阵 | 循环码的监督 (校验) 矩阵
	BCH 码和RS 码	BCH码-循环码 | RS码 | 总结
卷积码	卷积码基础	卷积码的概念 | 卷积码编码器的结构 | 卷积编码器表示
	卷积译码	最大似然译码 | 卷积译码-维特比卷积译码算法
	交织技术	突发错误 | 抗突发错的有效手段——交织 | 交织器的三个重要参数
正交码和伪随机序列	时变多径信道的信道模型	时变多径信道的信道模型 | 抽头延迟线信道模型
	正交编码	正交编码的基本概念 | 正交沃尔什函数
	伪随机码	伪随机序列的概念 | 伪随机序列的产生
	m 序列	线性反馈移位寄存器的特征多项式 | m序列产生器 | m序列的性质

ChangeLog

• v2.0 Completed all chapter updates, corrected some formatting issues, officially open version 2.0 230224

• v1.9 Completed chapter 9 update 230224

• v1.8 Completed chapter 8 update 230219

• v1.7 Completed chapter 7 update 230218

• v1.6 Completed chapter 6 update 230216

• v1.5 Completed chapter 5 update 230214

• v1.4 Completed chapter 4 update 230207

• v1.3 Completed chapter 3 update 230207

• v1.2 Completed distortionless coding of discrete sources chapter update 230205

• v1.1 Completed source chapter update 230204
• v1.0 Completed introduction chapter update 230201

Reference

[1] Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

[2] Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

[3] 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.

[4] 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

Tips

1. 如果存在疑问或发现错误，欢迎提Issues交流订正。
2. 如果遇到图片无法加载的情况，可以考虑使用代理，或者访问博客网站 。
3. 如果发现Tex数学公式展示异常，可以安装插件GitHub Math Display，安装后启用插件，刷新网页即可。也可以下载后本地软件打开。

More

扫描下方二维码关注公众号：AIShareLab

  AIShareLab，一个关注CV、AI、区块链、Web开发、硬件开发、5G通信等领域的热“AI”分享的社群，微信搜索公众号 AIShareLab 一起交流更多相关知识，前沿算法，Paper解读，项目源码，面经总结。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。