手机版

信息论基础第3章

发布时间：2024-10-23 来源：未知

小中大

字号：

第三章信道与信道容量§3-1 引言1〉什么是信道？信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2〉信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3〉研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。2013/1/9 P.1

§3-2 信道的分类与描述(一) 信道分类信道可以从不同角度加以分类，但归纳起来可以分为：从工程物理背景——传输媒介类型；从数学描述方式——信号与干扰描述方式；从信道本身的参数类型——恒参与变参；从用户类型——单用户与多用户；等方面加以分类：

2013/1/9

P.2

明线对称平衡电缆(市内) 固体介质电缆小同轴(长途) 中同轴(长途) (一) 信道分类 (续) 长波中波短波超短波移动 1 传输媒介类型空气介质视距接力微波对流层散射电离层卫星光波波导混合介质光缆 2013/1/9

P.3

(一) 信道分类 (续) 离散无记忆信号类型连续半离散有记忆半连续无干扰：干扰少到可忽略；无源热噪声 2〉信号与干扰类型线性叠加干扰有源散弹噪声脉冲噪声干扰类型有干扰交调乘性干扰衰落码间干扰 2013/1/9 P.4

(一) 信道分类 (续) 恒参信道(时不变信道 ) 3 〉信道参量类型变参信道(时变信道) 二用户信道(点对点通信) 4〉用户类型多用户信道(通信网)

2013/1/9

P.5

(一) 信道分类 (续)信道划分是人为的，比如：信源编码 A 媒介 B 译码信宿

干扰 c1 c2 c3 c4

其中：c1为连续信道，调制信道； c2为离散信道，编码信道； c3为半离散、半连续信道； c4为半连续、半离散信道。2013/1/9 P.6

(二) 信道描述信道可以引用三组变量来描述：信道输入概率空间： X K , p( x)] ; 信道输出概率空间： K , q( y)] [ [Y 信道概率转移矩阵： ( y x) P

出 YK y ymk X K x1 xnk 入信道 1

p( x) p1 p k q( y ) q1 q k n m

P( y1 x1 ) P( y1 x k ) n P P( y mk x1 ) P( y mk xnk ) 2013/1/9 P.7

(二) 信道描述 (续)当K=1时，退化为单个消息(符号)信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC:

0输入 Pe Pe

1 Pe 1

0输出

x {0,1 }

y {0,1 }1 Pe 1

1

且： X 0 , 1 p ( x) p , p , ( P 0 1

1 , Y 0 , 1 ) ,1 ,q( y ) q , q 0 1 P.8

2013/1/9

§3-3 无干扰离散信道(略) §3-4 有干扰时单个消息(符号)信道及其容量这里，仍类似于信源，从最基本、最简单的单个消息(符号)开始，再逐步将其推广至消息序列信道以及多用户信道。

(一) 离散单消息信道与信道容量输入 P [ X , p( x)]

输出 [Y , q( y)]

下面，我们首先将互信息表达成概率的函数：

2013/1/9

P.9

(一) 离散单消息信道与信道容量 (续)I ( X ;Y ) H ( X ) H ( X Y ) p rij log i q j Qij log Qij i j i j

q Qj j

ij

Qij

I (q j ; Qij )

I ( X ; Y ) H (Y ) H (Y X ) rij logi j

qj Pji

pi Pji logi j

pPi i

ji

Pji

I ( pi ; Pji )

两种表达式中，这里选用 I ( X ;Y ) I ( pi ; Pji ) 。 0 一般当信道给定以后，p ji P( 已知) ji0 I ( X ;Y ) I ( pi ; Pji ) I ( pi ; Pji ) I ( pi )

2013/1/9

P.10

(一) 离散单消息信道与信道容量 (续)

C max I ( X ; Y ) max I ( pi )pi pi

2013/1/9

P.11

(二)强对称信道:

其中：

1 n 1 P(/) n 1 1 ...... ...... n 1 n 1

n 1 ...... n 1 ...... ...... ...... 1 ......P.12

2013/1/9

(二)强对称信道 (续):它具备三个特征： 1> 矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。 2> 错误分布是均匀的，为 n 1 3> 信道输入与输出消息(符号)数相等，即m=n。显然，对称性基本条件是1>,而2>、3>是加强条件。下面，我们放松对信道的约束，仅满足条件1>,就构成一般性对称信道。 1 1 3 例： 6 11 6 1 6

31 6

1 3

2013/1/9

1 3

P.13

(二)强对称信道 (续):1 1213 6

1 6 1 1 3

21 3

1 6

1 2

1 P1 3 1 6

1 3 1 6