对于离散无记忆信源， 对于离散无记忆信源，R(D)函数可写成 函数可写成

　　无失真时：R=H(X) 有失真时：R=R(D)=H(X)－H(X/Y)≤H(X) H(X/Y)：由于压缩编码损失的信息 对于给定信源，在平均失真不超过失真限度D 的条件下，信息率容许压缩的最小值R(D)

　　R(Dmax)=0 选择所有满足R(D)＝0中D的最小值，定 ＝ 中 的最小值 的最小值， 选择所有满足 义为R(D)定义域的上限 max，即 定义域的上限D 义为 定义域的上限

　　失真函数的数学期望称为平均失真， 失真函数的数学期望称为平均失真，记为 平均失真

　　一定时， 是关于p(y 当p(xi)一定时，互信息 是关于 j/xi) 的U 一定时 互信息I是关于 型凸函数，存在极小值( 型凸函数，存在极小值(2.2节）。 在上述允许信道P 在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后， 使给定的信源p(x 经过此信道传输后 经过此信道传输后， 互信息I(X； 达到最小 达到最小。 互信息 ；Y)达到最小。

　　例4-3 设输入输出符号表为X＝ ∈ ， ， 设输入输出符号表为 ＝Y∈{0，1}，输入概率 分布p(x)={1/3，2/3}，失真矩阵为 ， 分布 ，

　　已定， 若p(xi)和d(xi，yj)已定，则可给出满足 D ≤ D 和 已定 条件的所有转移概率分布p 条件的所有转移概率分布 ij，它们构成了一个 信道集合P 信道集合 D

　　前三种失真函数适用于连续信源， 前三种失真函数适用于连续信源 ， 后一种适 用于离散信源。 用于离散信源。

　　例4-2 设信源的符号表为A＝ 设信源的符号表为 ＝ {a1 ， a2 ， …，a2n}，概率分布为 ， ， p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 ＝ ， ， ， ，

　　即符号不发生差错时失线，一旦出错，失线， 即符号不发生差错时失真为 ，一旦出错，失真为 ，试 研究在一定编码条件下信息压缩的程度。 研究在一定编码条件下信息压缩的程度。

　　在实际问题中， 在实际问题中，信号有一定的失真是可以 容忍的。但是当失真大于某一限度后，信息质 容忍的。但是当失真大于某一限度后， 量将被严重损伤，甚至丧失其实用价值。 量将被严重损伤，甚至丧失其实用价值。要规 定失真限度，必须先有一个定量的失真测度。 定失真限度，必须先有一个定量的失真测度。 为此可引入失真函数。 为此可引入失线 信息率失真函数 信息率失真函数R(D)

　　将信源编码器看作信道， 将信源编码器看作信道，信源编码器输出的信息率 R对应到信道 ， 即为接收端 需要获得的有关 的信息 对应到信道， 即为接收端Y需要获得的有关 需要获得的有关X的信息 对应到信道 量，也就是互信息I(X;Y)。 也就是互信息 。

　　p(ai)，i＝1，2，…，n 是信源符号概率分布； 是信源符号概率分布； ，＝ ， ， ， p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； ， ， ， ， ， ＝ ， ， ， 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。 ， ， ， ， 是接收端收到符号概率分布。

　　从上式观察可得： 从上式观察可得：在j=1，…，m中，可找 ， ， 中 值最小的j，当该j对应的 对应的p 到 ∑ p i d ij 值最小的 ，当该 对应的 j＝1，而 ， i =1 其余p 为零时， 上式右边达到最小， 其余 j 为零时 ， 上式右边达到最小 ， 这时 上式可简化成

　　主要讨论在信源允许一定失真情况 下所需的最少信息率， 下所需的最少信息率 ， 从分析失真函 平均失真出发， 数 、 平均失真出发 ， 求出信息率失真 函数R（D） 。 函数 4.1 平均失线

　　R(D)＝0就是 ＝ 就是 就是I(X;Y)＝0，这时试验信道输入 ＝ ，这时试验信道输入 与输出是互相独立的 所以条件概率p(y 与输出是互相独立的，所以条件概率 j/xi) 无关。 与xi无关。即 p = p ( y / x ) = p ( y ) = p

　　信源编码器的目的是使编码后所需的信 息传输率R尽量小， 息传输率 尽量小， 尽量小

　　解： 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3) 时 ＝ ＝ ， 比特/符号 ＝ 0.91比特 符号 ， 这时信源编码器无失真 ， 比特 符号，这时信源编码器无失真， 所以该编码器的转移概率为

　　其中d(x 是信源输出L长符号样值 个符号x 其中 il，yjl)是信源输出 长符号样值 i中的第 个符号 il 是信源输出 长符号样值x 中的第l个符号 长符号样值y 个符号y 时，编码输出L长符号样值 j中的第 个符号 jl的失真函数。 编码输出 长符号样值 中的第l个符号 的失真函数。

　　第4章信息率失线章信息率失线章信息率失线章信息率失线章信息率失线_doc导入外部