信息论基础:串联信道

时间:2024-04-07 19:38:32

串联信道

大学时候看过一期湖南卫视《快乐大本营》,那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机,坐在一排椅子上,两两中间隔着挡板,好像并排在一起上厕所。李湘把一部电影的名字写在纸板上,给第一名观众看。第一名观众用动作表演,试图让第二名观众理解。第二名观众再表演给第三名观众,以此类推到倒数第二名观众。然后何炅问最后一名观众电影名字。

那一期的电影名字是《泰坦尼克号》。第一名观众显然看过这部电影,稍做思考,就表演出电影海报中的经典画面。他先模仿Rose张开双臂享受的表情,再后退一步,模仿Jack双臂环抱的动作。他表演得很到位,主持人一脸赞叹的表情,场下观众报以热烈的掌声。第二名观众似乎看懂了,照猫画虎模仿了一遍。以此类推,动作越传越走形,到倒数第二名观众,表演已经相当僵硬、变形。何炅问最后一人,这是什么电影。那名观众自信满满地说“风筝”。也难怪,前面一只风筝张着翅膀飞,后面一个人双手拽着风筝。

这是一个串联信道(也叫级联信道)的例子。信道1的输出????是信道2的输入。

该信道服从以下的不等式:
I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
证明如下:
按照互信息的链法则:
I ( X ; Y , Z ) = I ( X ; Y ) + I ( X ; Z ∣ Y ) I(X;Y,Z) = I(X;Y) + I(X;Z|Y) I(X;Y,Z)=I(X;Y)+I(X;ZY)
I ( X ; Y , Z ) = I ( X ; Z ) + I ( X ; Y ∣ Z ) I(X;Y,Z) = I(X;Z) + I(X;Y|Z) I(X;Y,Z)=I(X;Z)+I(X;YZ)
由于已知 Y Y Y时, X X X Z Z Z条件独立。
I ( X ; Z ∣ Y ) = 0 I(X;Z|Y) = 0 I(X;ZY)=0
合并以上式子得到:
I ( X ; Y ) − I ( X ; Z ) = I ( X ; Z ∣ Y ) ≥ 0 I(X;Y) - I(X;Z) = I(X;Z|Y) \geq 0 I(X;Y)I(X;Z)=I(X;ZY)0

I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
上式的意义是,串联信道的容量不可能大于各组成信道的容量。实际中,随着越来越多的信道串联起来,整个信道的容量会趋于0。

举个具体的串联信道例子。将一连串????个相同参数(即出错概率????相等)的二元对称信道(BSC)串联起来。

其总体的转移概率矩阵可以计算为:

当????趋于无穷大时,转移概率矩阵的每一项都趋近于0.5。这个串联信道相当于一个????=0.5的BSC信道,而该信道的容量为0 bit,完全不能传递信息。

下面利用串联的BSC信道,做个仿真实验。将一幅二值图像(一连串二进制的0和1),经过12个串联的BSC信道(????=0.1)进行传输。我们观察从第1一直到第12个信道的输出。从下图可以看到,随着信道增多,噪声越来越严重。到了第12个信道,从输出的图像中完全看不到输入图像的影子;或者说,输出的图像与输入图像几乎完全无关;还可以说,输入的图像几乎完全没有发送过去。

如果把信号处理器看作是信道,对于输入信号做一连串的信号处理,就相当于经过了一连串的信道传输。上述不等式意味着,随着对于信号的处理越来越多,输出信号与输入信号之间的互信息越来越少,直至二者完全独立。也叫做数据处理不等式(Data Processing Inequality)。