Conditional Picture-Element Replenishment(CR)

1. 概述

一种通过只对视频场景中的变化进行编码来改进压缩的简单方法称为条件补充(CR)。这是第一个数字视频编码国际标准ITU-T推荐H.120中使用的唯一的时间冗余减少方法。CR编码包括发送信号来指示图片的哪些区域可以被重复，并发送新的信息来替换改变的区域。因此，CR允许在每个区域的两种表示模式中进行选择，我们称之为Skip和Intra。然而，CR有一个显著的缺点，即它无法重新细化由重复给出的近似（指在Skip mode下）。

2. 介绍

下面介绍了一种利用帧间关联来降低传输比特率的电视信号编码的实验方法。该技术只编码那些在连续帧之间变化的元素，而不是对每一帧的每个元素进行编码。我们知道帧到帧的时间维度比单个帧中相邻元素之间的时间维度要多，所以介绍一种利用帧间相关性来降低传输带宽的电视信号编码方法。

2.1 描述

该技术只对那些在不同帧之间发生变化的元素进行编码，而不是对每一帧的每个元素进行编码。当在场景中使用中等运动的视频电话信号时，我们发现，平均而言，不到十分之一的元素在帧之间的变化超过了峰值信号的1%。我们认为这1%的变化是显著的。这为我们使用帧间预测提供了实验依据。
我们将描述一个完整的传输系统，利用帧到帧的冗余来获得编码效率。我们称之为“Conditional Picture-Element Replenishment”（以下简称CR）的技术被发现对在视觉通信系统中遇到的图片特别有用。
CR系统使用一个内存来存储一个参考图片，只有那些在帧之间发生了显著变化的图片元素才会被更新（或补充）。只需要传输更新参考图片所需的图片信息（不是残差）。在接收端，该信息用于更新已存储的类似参考图像，其用于跟踪已存储的参考图像。
为了接收器正确更新图片元素，两个信息必须传递给接收器——新值和需要更新值得位置。因为该信息以随机速率发生，所以使用缓冲区重新分配信息并将信息以统一的比特率呈现给传输信道。
早期buffer容量有限，为了调节平均补充速率以匹配通道容量，阈值（确定图像信息中是否发生了显著变化）作为在缓冲器中存储的信息量的函数而变化。

2.2 TRANSMITTER

图1显示了发射器所执行的操作。来自摄像机的视频信号是频带限制的，采样，并数字化成8位PCM。提供一种选择开关，当检测到显著差异时，将新信息传递到参考帧存储器的输入端，或者再循环当前存储在帧存储器中的信息。该帧存储器由延迟线组成，并有足够的容量来存储一个完整的视频信息帧——每个示例被编码为8位PCM。

将来自相机的新信息与存储在帧存储器中的参考图像进行比较，该减法电路产生信息的新样本与对应于同一图像元件的参考值之间的绝对差。在每个采样周期内，控制逻辑根据差异信号的大小来决定信号值之间是否存在显著的差异。如果差异显著，则控制逻辑的输出操作选择器开关，以将新的信号值输入帧存储器。
如果差异不显著，则对存储在帧存储器中的信号值进行再循环。除了补充帧存储器中的新信息外，控制逻辑还会使伴随其地址的新信号值存储在缓冲器中。缓冲区存储区将有效的数据速率与传输通道的恒定比特率相匹配。存储在缓冲区中的信息以恒定的速率读取，传送速率是一定得。
在实验系统的实现中，振幅信息表示为8位PCM，另外的7位用于识别位置信息，共15位，包括传输到接收机的每个字。为了迫使平均补充率匹配通道容量，显著的变化阈值作为缓冲区中存储的信息量的函数而变化。这可以通过图2中所示的控制逻辑特性来实现。

我们表示由减法电路得到的帧到帧差信号的绝对值，沿纵坐标范围为0到255个离散的水平。在缓冲区中存储的补充元素的数量沿着横坐标表示，其范围可以从0到缓冲区的最大容量M。阶梯曲线表示每个缓冲区状态对应的阈值。曲线上方的区域表示控制逻辑强制补充的图像信息的显著变化。曲线下面和右边的阴影区域表示一个不重要的变化，其中控制逻辑导致存储在帧存储器中的信息被保留。
应注意此控制功能的三个特性：

• 随着受试者变得更加活跃，导致缓冲液中存储的样本数量增加，显著变化阈值增加，只允许图片中更显著的变化被补充。当受试者变得不那么活跃，导致缓冲区中存储的元素更少时，阈值就会降低，允许校正不那么显著的变化。
• 希望在缓冲区中始终保持一些最小的数据量，以便数据始终可用于传输，特别是当数据离开缓冲区但没有数据进入时。为了确保缓冲区不为空，当缓冲区计数低于选定的数量时，显著的变化阈值就会降低为零。
• 当存储在缓冲区中的样本数量等于缓冲区的容量时，所有的补充都会停止，这与帧到帧的差异无关。这就导致了图片的破裂，如图所示5b
  

2.3 Receiver

图3显示了一个放置给接收器的缓冲区，以存储接收到的图像信息，直到它能够以适当的时间顺序被切换到接收器的帧存储器中。当图像格式地址生成器的输出与要从缓冲区读取的图像元素的地址信息一致时，就会将新信息从缓冲区传输到帧存储器。该协议由地址比较电路决定，该地址比较电路操作选择器开关，使新的振幅信息从缓冲器流入帧存储器。缓冲区读出，然后前进到下一个元素。λλΙιεη的地址不一致，存储在帧存储器中的信息再循环，缓冲区的读出单元保持固定。存储在帧存储器中的信息，在被解码后，提供了用于视觉显

2.4 EXPERIMENTAL SYSTEM

为了实时评价这种实时编码视频信息的方法，我们只组装了发射机终端的设备，如图所示。 4.存储在发射机的参考帧存储器中的信息被解码，以恢复用于视觉显示的视频信息。功能块与发射器的描述相同，除了通过一个前向计数器替换的缓冲器，以获得如果使用缓冲区将存储在缓冲区中的数据的计数。每当图片元素被补充时，计数增加“1”，每次传输一个单词时减少“1”。

3. 结果及弊端

单帧视频信息的照片被用来说明条件补充的效果。这些照片在主观地描绘图像质量方面并不是很有效，因为损伤只有在运动的存在时才会产生。
对上述实验系统进行的实验结果如下：

• 当运动强度适中时，图像质量与8位PCM编码几乎相同，如图5a所示。
  
• 随着主体的运动越来越快，存储在缓冲区（未达到饱和）中的图片元素的数量就会增加。这将导致显著的变化阈值的增加，从而使图片中的微小变化无法被复制。复制变得有点差，因为所有的图片元素都没有用相同的元素来表示,结果类似于通过脏窗口查看的场景。
• 当物体变得非常活跃时，也就是说，当图片包含覆盖大部分视野的持续快速运动时，缓冲区就会饱和，不允许有更多的变化被接受。这种情况被称为缓冲区过载，并导致图片破裂，如图5b所示。画面破裂只是瞬间，一旦物体运动变缓，接受的图像就会迅速恢复。
  
  图5c和d显示了描述系统输出的图片，当图片元素被更新时，对应图片位置上亮点（它们不是系统中的缺陷）。当物体不移动时，如图5c所示。，由于噪声的峰值超过了低阈值，这些点或多或少被随机噪声随机补充。一旦受试者移动，如图5d所示。图片的变化元素优先，我们可以看到补充集中在移动物体周围，噪声起的作用减少。
  

Reference：A Video Encoding System With Conditional
Picture-Element Replenishment