信息论基础PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论与概览1

第2章 熵、相对熵和互信息9

2.1熵9

2.2联合熵和条件熵11

2.3相对熵和互信息13

2.4熵与互信息的关系14

2.5熵、相对熵和互信息的链式法则15

2.6Jensen不等式及其结果17

2.7对数和不等式及其应用22

2.8数据处理不等式24

2.9热力学第二定律25

2.10充分统计量27

2.11Fano不等式28

要点30

习题31

历史回顾36

第3章 渐近均分性39

3.1渐近均分性的定义39

3.2AEP的结果应用：数据压缩41

3.3高概率集与典型集42

要点43

习题44

历史回顾45

第4章 随机过程的熵率47

4.1马尔可夫链47

4.2熵率49

4.3例子：加权图上随机游动的熵率51

4.4隐马尔可夫模型53

要点55

习题56

历史回顾60

第5章 数据压缩61

5.1有关编码的例子61

5.2Kraft不等式64

5.3最优码66

5.4最优码长的界67

5.5惟一可译码的Kraft不等式70

5.6赫夫曼码72

5.7有关赫夫曼码的评论73

5.8赫夫曼码的最优性75

5.9Shannon-Fano-Elias编码78

5.10算术编码80

5.11香农码的竞争最优性83

5.12由均匀硬币投掷生成离散分布85

要点91

习题91

历史回顾96

第6章 博弈与数据压缩97

6.1马赛97

6.2博弈与边信息100

6.3相依的马赛及其熵率102

6.4英文的熵103

6.5数据压缩与博弈106

6.6英文的熵的博弈估计107

要点108

习题109

历史回顾111

第7章 Kolmogorov复杂度113

7.1计算模型114

7.2Kolmogorov复杂度：定义和例子115

7.3Kolmogorov复杂度与熵119

7.4整数的Kolmogorov复杂度121

7.5算法随机序列与不可压缩序列122

7.6普适概率125

7.7停止问题和Kolmogorov复杂度的不可计算性126

7.8Ω127

7.9普适投注策略129

7.10奥克姆剃刀130

7.11Kolmogorov复杂度与普适概率131

7.12Kolmogorov充分统计量136

要点139

习题140

历史回顾142

第8章 信道容量143

8.1信道容量的例子144

8.1.1无噪声二元信道144

8.1.2无重叠输出的有噪声信道144

8.1.3有噪声的打字机信道145

8.1.4二元对称信道145

8.1.5二元擦除信道146

8.2对称信道147

8.3信道容量的性质149

8.4信道编码定理预览149

8.5定义150

8.6联合典型序列152

8.7信道编码定理154

8.8零误差码158

8.9Fano不等式与编码定理的逆定理159

8.10信道编码定理的逆定理中的等式162

8.11汉明码163

8.12反馈容量165

8.13联合信源信道编码定理167

要点170

习题171

历史回顾173

第9章 微分熵175

9.1定义175

9.2连续随机变量的AEP176

9.3微分熵与离散熵的关系178

9.4联合微分熵和条件微分熵179

9.5相对熵和互信息180

9.6微分熵、相对熵以及互信息的性质181

9.7离散熵的微分熵界183

要点184

习题185

历史回顾186

第10章 高斯信道187

10.1高斯信道的定义188

10.2高斯信道编码定理的逆定理192

10.3有限带宽信道193

10.4并联高斯信道196

10.5彩色高斯噪声信道198

10.6带反馈的高斯信道200

要点204

习题205

历史回顾207

第11章 最大熵与谱估计209

11.1最大熵分布209

11.2例子210

11.3反常的最大熵问题212

11.4谱估计213

11.5高斯过程的熵率214

11.6Burg最大熵定理215

要点217

习题217

历史回顾218

第12章 信息论与统计学219

12.1型方法219

12.2大数定律225

12.3通用信源编码226

12.4大偏差理论229

12.5Sanov定理的例子231

12.6条件极限定理233

12.7假设检验239

12.8Stein引理243

12.9Chernoff界245

12.10Lempel-Ziv编码251

12.11Fisher信息与Cramér-Rao不等式256

要点260

习题262

历史回顾264

第13章 率失真理论265

13.1量化265

13.2定义266

13.3率失真函数的计算269

13.3.1二元信源269

13.3.2高斯信源270

13.3.3独立高斯随机变量的同步描述273

13.4率失真定理的逆定理275

13.5率失真函数的可达性277

13.6强典型序列与率失真282

13.7率失真函数的特征285

13.8信道容量与率失真函数的计算286

要点289

习题289

历史回顾293

第14章 网络信息论295

14.1高斯多用户信道297

14.1.1单用户高斯信道298

14.1.2m个用户的高斯多接入信道298

14.1.4高斯中继信道299

14.1.3高斯广播信道299

14.1.5高斯干扰信道301

14.1.6高斯双向信道301

14.2联合典型序列302

14.3多接入信道305

14.3.1多接入信道容量区域的可达性309

14.3.2对多接入信道容量区域的评述311

14.3.3多接入信道容量区域的凸性312

14.3.4多接入信道的逆定理314

14.3.5m个用户的多接入信道317

14.3.6高斯多接入信道318

14.4相关信源的编码321

14.4.1Slepian-Wolf定理的可达性323

14.4.2Slepian-Wolf定理的逆定理325

14.4.3多信源的Slepian-Wolf定理327

14.4.4Slepian-Wolf编码的解释327

14.5Slepian-Wolf编码与多接入信道之间的对偶性328

14.6广播信道329

14.6.1广播信道的定义331

14.6.2退化广播信道332

14.6.3退化广播信道的容量区域332

14.7中继信道336

14.8具有边信息的信源编码340

14.9具有边信息的率失真343

14.10一般多端网络348

要点353

习题354

历史回顾358

第15章 信息论与股票市场361

15.1股票市场：定义361

15.2对数最优投资组合的Kuhn-Tucker特征363

15.3对数最优投资组合的渐近最优性365

15.4边信息与双倍率367

15.5平稳市场中的投资368

15.6对数最优投资组合的竞争最优性370

15.7Shannon-McMillan-Breiman定理372

要点377

习题378

历史回顾379

16.1信息论的基本不等式381

第16章 信息论的不等式381

16.2微分熵383

16.3熵与相对熵的界385

16.4型的不等式387

16.5子集的熵率388

16.6熵与Fisher信息390

16.7熵幂不等式与Brunn-Minkowski不等式393

16.8行列式的不等式397

16.9行列式的比值的不等式400

全书要点402

习题402

历史回顾403

参考文献405

索引419