文件名称：渐近等同性及信源编码定理-project2010教程(完全版).
文件大小：35.67MB
文件格式：PDF
更新时间：2024-07-29 21:03:15
数字通信原理
2.7 渐近等同性及信源编码定理 先来回顾独立同分布序列的弱大数定律。 ③ 将这个定律用于独立同分布序列， 就可以给 出渐近等同性这一重要特性的一种形式。 渐近等同性的意思粗略说就是，给定由 η 个独立同分布的离散随机符号组成的序列 X1 ， … ， Xn， 存在一个样本序列(町" .. , Xt~) 的典型集合，其总概率几乎是 1。长度为 η 的 典型序列的个数大约是 2nH[X] 个，每个的概率大约是 2-nH[X]。下面我们需要多加注意"几 乎"、"大约"这些说法的含义。 渐近等同性能使我们对许多问题有更基本的理解，不仅包括离散无记忆信源的信源编 码，同时也包括这些信源的概率结构以及娟的含义。渐近等同性将向我们证明，对于离散无 记忆信道， 一般性的信源编码器(如变长-变长编码)不可能做到使平均每信源符号的码长严 格小于最佳的等长-变长无前缀码。 2.7.1 弱大数定律 设于1，巧，… 为一个独立同分布随机序列，令?和 σ3 分别表示每个巧的均值和方差。 定义飞，' " )凡的样本平均 (sample average) 为 c n At = 丘，其中~=贝+…+凡 n 样本平均 At 自身是一个随机变量，而于自然是一个确定的实数。 sp 的均值为 ηY，方差为 即告，故此样本平均 At 的均值为 E[A~) = Y，方差为 σ2艺 =σ~:，; /η2 = σ;/n。注意，和的方 差随 n 增加， 归~化和(样本平均 A~) 的方差随 n 减小二 根据切比雪夫不等式， 对于随机变量 X，若 σ主<∞，则对于任意的 E > 0， 有 Pr(IX - XI 注 ε) 运 σ初ε2(见习题 2.3 或概率方面的教材， 如参考文献 [25) 或参考文献 [2))。将这个不 等式用于 A3 将得到弱大数定律的最简单形式:对于任意 ε> 0，有 Pr( IA~ 一 YI ~E) ζ 恙 (2.15) ①"弱"这个词不够恰当，因为这个定律是概率论中是有用的结果之一. 还有一个强大数定律，其差别在无限随机 序列的极限行为上.某些情形下， 弱大数定律适用，但强定律不适用.不过这些兹别对我们来说并不重要.