信息论基础PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1．1信息的基本概念1

1．1．1信息论的产生1

1．1．2信息的基本概念2

1．2香农信息论研究的内容3

1．2．1通信系统模型4

1．2．2香农信息论的主要内容6

1．3香农信息论研究的进展与应用8

1．3．1香农信息论创立的背景8

1．3．2香农的主要贡献9

1．3．3香农信息论的研究进展9

1．3．4香农信息论的应用12

思考题12

第2章 离散信息的度量14

2．1自信息和互信息14

2．1．1自信息14

2．1．2互信息17

2．2信息熵18

2．2．1信息熵的定义与计算18

2．2．2条件熵与联合熵21

2．2．3熵的基本性质22

2．3平均互信息27

2．3．1平均互信息的定义27

2．3．2平均互信息的性质28

2．3．3平均条件互信息30

本章小结33

思考题34

习题34

第3章 离散信源37

3．1离散信源的分类与数学模型37

3．1．1离散信源的分类37

3．1．2离散无记忆信源的数学模型38

3．1．3离散有记忆信源的数学模型39

3．2离散无记忆信源的熵39

3．2．1单符号离散无记忆信源的熵39

3．2．2离散无记忆信源N次扩展源的熵40

3．3离散平稳信源的熵40

3．3．1离散平稳信源40

3．3．2离散平稳有记忆信源的熵41

3．4有限状态马尔可夫链42

3．4．1马氏链基本概念43

3．4．2齐次马氏链43

3．4．3马氏链状态分类46

3．4．4马氏链的平稳分布47

3．5马尔可夫信源48

3．5．1马氏源的基本概念48

3．5．2马氏源的产生模型50

3．5．3马氏链N次扩展源的熵的计算51

3．5．4马氏源符号熵的计算53

3．6信源的相关性与剩余度55

3．6．1信源的相关性55

3．6．2信源剩余度（冗余度）55

3．6．3自然语言的相关性和剩余度56

本章小结59

思考题59

习题60

第4章 连续信息与连续信源64

4．1连续随机变量集合的熵64

4．1．1连续随机变量的离散化65

4．1．2连续随机变量集的熵65

4．1．3连续随机变量集的条件熵65

4．1．4连续随机变量集的联合熵66

4．1．5连续随机变量集合差熵的性质66

4．1．6连续随机变量集合的信息散度68

4．2离散时间高斯信源的熵69

4．2．1一维高斯随机变量集的熵69

4．2．2多维独立高斯随机变量集的熵69

4．2．3多维相关高斯随机变量集的熵69

4．3连续最大熵定理70

4．3．1限峰值最大熵定理71

4．3．2限功率最大熵定理71

4．3．3熵功率和剩余度72

4．4连续随机变量集的平均互信息72

4．4．1连续随机变量集的平均互信息72

4．4．2连续随机变量集平均互信息的性质73

4．5离散集与连续集之间的互信息75

4．5．1离散事件与连续事件之间的互信息76

4．5．2离散集合与连续集合的平均互信息76

本章小结77

思考题77

习题77

第5章 无失真信源编码80

5．1概述80

5．1．1信源编码器80

5．1．2信源编码的分类81

5．1．3分组码82

5．2定长码83

5．2．1无失真编码条件83

5．2．2信源序列分组定理84

5．2．3定长码信源编码定理86

5．3变长码88

5．3．1异前置码的性质88

5．3．2变长码信源编码定理90

5．4哈夫曼编码93

5．4．1二元哈夫曼编码93

5．4．2多元哈夫曼编码96

5．4．3马氏源的编码97

5．5几种实用的编码方法99

5．5．1算术编码99

5．5．2游程编码100

5．5．3L-Z编码101

本章小结101

思考题102

习题102

第6章 离散信道及其容量105

6．1概述105

6．1．1信道的分类105

6．1．2离散信道的数学模型106

6．1．3信道容量的定义109

6．2单符号离散信道及其容量109

6．2．1离散无噪信道的容量109

6．2．2离散对称信道的容量110

6．2．3一般离散信道的容量112

6．3级联信道及其容量116

6．4多维矢量信道及其容量118

6．4．1多维矢量信道输入与输出的性质118

6．4．2离散无记忆扩展信道及其容量120

6．4．3并联信道及其容量122

6．4．4和信道及其容量122

6．5信道容量的迭代计算123

本章小结125

思考题126

习题126

第7章 有噪信道编码129

7．1概述129

7．1．1信道编码的基本概念129

7．1．2判决与译码规则130

7．1．3译码错误概率131

7．2最佳判决与译码准则132

7．2．1最大后验概率准则132

7．2．2最大似然准则133

7．3信道编码与最佳译码134

7．3．1线性分组码134

7．3．2序列最大似然译码135

7．3．3几种简单的分组码136

7．4费诺（Fano）不等式137

7．4．1信道疑义度137

7．4．2费诺（Fano）不等式138

7．5有噪信道编码定理139

7．5．1联合典型序列140

7．5．2有噪信道编码定理141

7．5．3无失真信源信道编码定理143

7．6纠错编码技术简介144

7．6．1线性分组码的编译码144

7．6．2几种重要的分组码148

7．6．3卷积码简介149

7．7信道编码性能界限150

7．7．1汉明球包界150

7．7．2Varsharmov-Gilbert界151

7．7．3Plotkin界152

本章小结153

思考题153

习题154

第8章 波形信道159

8．1离散时间连续信道159

8．1．1时间离散连续信道模型159

8．1．2平稳无记忆连续信道160

8．1．3多维矢量连续信道的性质160

8．1．4离散时间连续信道的容量160

8．2加性噪声信道与容量161

8．2．1加性噪声信道的容量161

8．2．2加性高斯噪声信道的容量162

8．2．3一般加性噪声信道容量界163

8．2．4并联加性高斯噪声信道的容量164

8．3AWGN信道的容量166

8．3．1加性高斯噪声波形信道166

8．3．2波形信道的互信息与容量167

8．3．3AWGN信道的容量168

8．3．4高斯噪声信道编码定理170

8．3．5功率利用率和频谱利用率的关系171

8．4有色高斯噪声信道173

8．4．1有色高斯噪声信道容量173

8．4．2AWGN信道容量的进一步讨论175

8．5数字调制系统的信道容量176

本章小结179

思考题180

习题180

第9章 信息率失真函数183

9．1概述183

9．1．1系统模型184

9．1．2失真测度184

9．2离散信源信息率失真函数185

9．2．1信息率失真函数185

9．2．2R（D）函数的性质185

9．3限失真信源编码定理188

9．3．1码率的压缩188

9．3．2限失真信源编码定理189

9．3．3限失真信源信道编码定理190

9．4离散信源信息率失真函数的计算190

9．4．1R（D）参量表示法求解191

9．4．2R（D）求解过程归纳192

9．4．3参量s的意义193

9．5连续信源信息率失真函数195

9．5．1信息率失真函数与性质195

9．5．2R（D）函数的计算195

9．5．3差值失真测度196

9．6高斯信源的R（D）函数197

9．6．1离散时间无记忆高斯信源197

9．6．2独立并联高斯信源199

9．7一般连续信源R（D）函数201

9．8有损数据压缩技术简介201

9．8．1量化202

9．8．2预测编码202

9．8．3子带编码203

9．8．4变换编码203

本章小结204

思考题205

习题205

第10章 有约束信道及其编码208

10．1标号图的性质208

10．1．1标号图的基本概念208

10．1．2标号图的变换210

10．2有约束信道容量211

10．2．1有约束信道容量的定义211

10．2．2等时长符号有约束信道的容量212

10．2．3不等时长符号无约束信道的容量213

10．2．4不等时长符号有约束信道的容量214

10．3有约束序列的性质215

10．3．1信道对传输序列的约束215

10．3．2游程长度受限序列（RLL）215

10．3．3部分响应最大似然（PRML）序列217

10．3．4直流平衡序列218

10．3．5其他频域受限序列220

10．4有约束信道编码定理220

10．4．1编码器的描述220

10．4．2有约束信道编码定理221

10．4．3有限状态编码定理221

10．4．4编码器性能指标222

10．5有约束序列编码与应用222

10．5．1块编码器222

10．5．2实用直流平衡序列223

10．5．3常用有约束序列编码及应用225

本章小结227

思考题227

习题227

第11章 网络信息论初步230

11．1概述230

11．2多址接入信道231

11．2．1二址接入信道的容量232

11．2．2不同多址方式下的接入信道容量分析236

11．2．3多址接入信道的容量238

11．3广播信道238

11．3．1退化广播信道239

11．3．2退化广播信道的容量区域240

11．4相关信源编码242

11．4．1典型的相关信源编码模型243

11．4．2Slepian-Wolf相关信源编码定理244

本章小结247

思考题248

习题249

第12章 信息理论方法及其应用250

12．1信源熵的估计250

12．1．1离散信源序列熵的估计251

12．1．2连续信源熵的估计254

12．2最大熵原理255

12．2．1最大熵原理的描述255

12．2．2熵集中定理258

12．2．3几种重要的最大熵分布259

12．3最小交叉熵原理261

12．3．1最小交叉熵原理261

12．3．2交叉熵的性质263

12．3．3最小交叉熵推断的性质264

12．3．4交叉熵法265

12．4信息理论方法的应用265

12．4．1DNA序列的熵估计和压缩265

12．4．2最大熵谱估计和最小交叉熵谱估计267

12．4．3最大熵建模及其在自然语言处理中的应用269

12．4．4最大熵原理在经济学中的应用271

12．4．5信息理论方法应用展望273

本章小结273

思考题274

习题274

参考文献276