信息论与编码：信道的定义和分类
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送，信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。信号在信道中传输，可能遇到的影响主要有信道加性噪声 、 信号幅度衰减和相位失真 、 信道特性的非线性 、带宽限制和多径失真等。实际通信系统中，通过调整通信系统参数...
信息论与编码：信道编码的基本概念
信道编码在通信系统中的位置和作用信道编码的基本分类分组码和卷积码（依据构造，编译码过程，性能指标）。三种主要的信道编译码原理线性分组码循环码卷积码了解其他类型的信道编码以及相关编码界限信道编码的性能分析信道编码的发展与应用信道编码的基本概念实际信道中传输数字信号时，由于信道传输特性的不理想及加性噪声...
信息论与编码（三）| 联合熵和条件熵
联合熵和条件熵联合熵联合集 X Y 上, 对联合自信息 的平均值称为联合熵:当有 n 个随机变量 , 有信息熵与热熵的关系信息熵的概念是借助于热熵的概念而产生的。1.信息熵与热熵含义相似2.信息熵与热熵的区别:1)信息熵的不增原理;2)热熵不减原理。3．热熵的减少等于信息熵的增加。条件...
信息论与编码（二）| 自信息与信息熵
自信息信息量如何考察或计算信源输出的消息(或者符号)的信息量?信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。数学上我们用概率（或概率密度）来表征事件不确定性的大小。1.信息量的大小与不确定性的消除多少有关;收到某消息获得的信息量=不确定性的减...
Atitit 三论”（系统论、控制论、信息论
Atitit 三论”（系统论、控制论、信息论1. 系统论的创始人是美籍奥地利生物学家贝塔朗菲12. 信息论是由美国数学家香农创立的，23. 什么是控制论？ 21. 系统论的创始人是美籍奥地利生物学家贝塔朗菲。系统论要求把事物当作一个整体或系统来研究，并用数学模型去描述和确定系统的结构和行为。所谓系统...
深度学习Bible学习笔记：第二、三章 线性代数 概率与信息论
推荐资源：《线性代数的本质》：Essenceoflinearalgebra视频教程《数学之美》（科普类书籍），吴军系列书籍都不错。易向军《大嘴巴漫谈数据挖掘》，通俗生动，不枯燥。深度学习Bible学习笔记：第二、三章线性代数概率与信息论的更多相关文章TheRoadtolearnReact书籍学习笔记...