摘要：由于互联网的快速发展以及对多媒体信息的要求的增长，在学术上和工业上，网络视频流都引起了强烈的关注。实时视频传输主要包括带宽，延迟和loss requirements。但是，当前的全力传输方式对视频流不提供任何QoS保证。而且，对于视频的多点传输，同时达到效率和适应性是很困难的。因此，网络视频流面临很多挑战。对于这些挑战，我们已经展开了广泛的研究。这篇文章要阐述一下网络视频流的贡献。为了结合相关的背景和在这方面给大家提供一个完整地认识，文章包括了流的主要的六个关键的领域。特别的，文章讲述了视频压缩，应用层QoS控制，连续媒体发送服务，流服务，媒体同步机制以及流媒体协议。对于每一个方面，将详细讲述问题并且回顾主要的方法。同样，也要权衡以下各种方法并且指出未来研究的方向。 Ⅰ 介绍
计算技术、压缩技术、高带宽存储设备以及高速网络的最新的成果已经使得提供实时多媒体服务成为可能。由它的名字，就可以知道实时多媒体要有时间的约束。例如，音频和视频数据必须连续播放。如果数据不能按时到达，那么播放过程将停止，这样对人的眼睛和耳朵是
军用伪装网很大的挑战。
茂发跳跳糖
实时传播直播或非直播的视频是实时多媒体中主要的部分。在本文中，我们关心的是涉及到非直播视频实时传输的视频流。非直播视频流在网络上有两种传输的模式，即下载模式和流模式（例如，视频流）。在下载模式中，用户下载整个视频文件，然后再播放这个文件。但是，整个文件在下载模式下的传输通常需要很长的时间，很可能是不能忍受的。但与此相反，在流模式中，视频内容并不需要完全的下载，而是一面播放，一面接收和解码。由于它是实时的，视频流主要包括带宽，延迟和loss requirements。但是，当前的全力传输方式对视频流不提供任何QoS保证。而且，对于多点传送，当要满足大范围用户的QoS要求而提供适应性服务的同时，就很难有效的支持多点传送。
对于这些挑战，已经展开了广泛的研究。篇文章要阐述一下网络视频流的贡献。为了结合相关的背景和在这方面给大家提供一个完整地认识，文章包括了流的主要的六个关键的领域。特别的，文章讲述了视频压缩，应用层保暖鼠标垫QoS控制，连续媒体发送服务，流服务，媒体同步机制以及流媒体协议。每一个方面都是建设流媒体体系结构的一个基础的块。这些块之间的关系如图1。
图1表示了视频流的一个体系结构。在图1中，原始视频和音频数据先通过视频和音频压缩法则进行预压缩并在存储设备保存。在客户端的请求下，流服务器从存储设备中到压缩的视频/音频数据，之后应用层QoS控制模块根据网络的情况和QoS要求调整视频/音频的比特流。调整之后，传输协议将压缩的比特流打包后再把视频/音频的数据报发送到网络上。由于网络拥塞数据包可能被丢弃或是要经历很长时间的延迟。为了改善视频/音频传输的质量，在互联网上配置了连续媒体发送服务（例如，caching）。对于那些成功发送到接收端的数据包，他们首先通过传输层，并在应用层进行处理后被视频/音频解码器解码。为了在
视频和音频之间达到同步，需要媒体同步机制。在图1中，可以看到六个方面紧密联系，是视频流体系结构的要素。下面，我们主要阐述一下这六个方面。
1) 视频压缩：原始视频在传输之前必须压缩以提高效率。视频压缩可以分成两类：可升级的和不可升级的视频译码。因为可升级的译码是可以根据互联网带宽的波动而gracefully coping，因而我们首先关心的是可升级视频译码技术。我们还要讨论在视频编码和解码中流的应用的必要条件。
2) 应用层QoS控制：为了应付各种各样的网络的条件以及用户不同的质量要求，出现了很多的应用层QoS控制技术的提议。应用层技术包括拥塞控制和差错控制。他们各自的功能如下所述。拥塞控制用来避免丢包和降低延迟。差错控制机制包括超前错误校正（FEC），重发，弹性差错编码和差错隐藏。
3) 连续媒体发送服务：为了提供高质量的多媒体服务，适当的网络支持是至关重要的。这是因为网络支持可以降低传输延迟和丢包率。由于是在互联网的最高层（IP穿戴式步态分析仪协议），连续媒体发送服务能使在全力传输的网络中达到视频/音频流的QoS和效率。连续媒体发送服务包括网络过滤，应用级的多点传送和内容复制。
4) 流服务器：流服务器在提供流服务中扮演了一个关键的角。要提供有质量的流服务，流服务器必须要在有时间约束的情况下处理多媒体数据，还要支持交互式的控制操作，例如暂停/重新开始，快进，快退等。此外，流服务器需要在同步方式下到媒体成分。一个典型的流服务器是由三个子系统组成，即一个交流者(例如，传输协议)，一个操作系统和一个存储系统。
5) 媒体同步机制：媒体同步是区别多媒体应用软件与其它传统的数据应用软件的一个主要的特征。应用了媒体同步机制，接受者端的应用软件将能呈现多种媒体流，好像实现已经处理好了似的。媒体同步的一个例子就是一个演讲者嘴唇的动作配合这播放的声音。
6) 流媒体协议：制定和规范协议是为了客户端和流服务器端之间的通讯。流媒体的协议提供了诸如网络寻址，传输和会议控制等服务。根据他们的功能性，协议可以分为三类：网络层协议，例如IP；传输层协议，例如UDP；会议控制协议，例如实时流协议RTSP。
文章下面的部分是来说明以上的六个方面的。Section II讨论了视频压缩技术，在Section III中，我们将介绍视频流的应用层QoS控制机制。Section IV讲述了连续媒体发送服务。Section V中我们讨论了流服务器设计中的关键问题。 Section VI介绍了各种的媒体同步机
制。 在Section VII中，大致了解一下视频流的关键协议。Section VIII总结本文并指出未来研究的方向。
Ⅱ 视频压缩
由于原始视频占用大量的带宽，通常是运用压缩来达到传输的高效率。在这部分里，我们讨论在视频编码和解码中流的应用的必要条件。基本上，视频压缩可以分成两类：可升级的和不可升级的视频译码。为简单起见，这里只说明在intra-mode下仅使用离散余弦转换（DST）的编码和解码。对于基于小波的可升级的视频编码，参考有关资料。
不可升级视频编码器产生一个压缩的比特流。比较而言，可升级视频编码器将一个原始视频序列压缩成为多重的substream，压缩的substream之一是基础的substream，它可以独立的被解码和提供粗陋的视觉效果。其他的压缩substream是增加的substream，只能和基本substream在一起被解码和提供可好的视觉效果。全部的比特流（例如，所有的substream制吴茱萸的结合）提供了最好的质量。很明显，和解码整个的比特流相比，解码基本substream和多重substream产生了退化的图像，或是更小的图像尺寸，抑或是更低的祯比率。质量，图像尺寸或是祯比率的可测量性分别被称为SNR，空间的可测量性或是时间的
可测量性。这三个可测量性是基本的可升级机制。基本的机制之间可以互相结合，就想时空的可测量性。
为了要提供更多的适应性以满足不同流的要求（例如，不同连接通路的带宽和不同的反应时间要求），一种名叫fine granularity scalability(FGS)的新的可升级译码机制被建议给MPEG—4。如图5所示，一个FGS编码器将一个原始视频序列压缩成两个substream，如一个基本比特流层和一个增加的比特流。与一个SNR—scalable编码器不同，FGS编码器用bitplane coding来表示增加的比特流（见图6）。由于使用了bitplane coding，FGS编码器能实现对增加比特流的连续比率控制。这是因为增加的比特流能被任意删减以适应目标比特率。
FGS的一个变化就是PFGS。PFGS拥有FGS的好的特性，如优良间隔比特率可测量性和差错弹性。但和FGSmuhdpe合金管只有两层不一样，PFGS可以有不止两层。FGS和PFGS的本质的区别就是FGS只用基本层来作为运动预报的参考，而PFGS运用增加层作参考来降低预测误差，从而达到更高的译码的效率。
接下来，我们讲述视频流编码解码的必要条件，并简要讨论一下相关技术。
1) 带宽：为了达到可以接受的质量，一个流应用程序有一个最小带宽要求。但是，目前的互联网并不为支持这个要求而提供带宽保留。另外，使用拥塞控制和避免拥塞对流的应用程序也是很必要的。当网络负载过重的时候就会发生拥塞。对于视频流，拥塞控制采用比率控制的形式，即用发送速率来配合网络的可用带宽。和不可升级视频相比，可升级视频对于网络上不断变化的带宽更加适应。
2) 延迟：视频流要求有限的端到端的延迟以使得数据包能够及时得到达接收端进行解码和播放。如果一个视频的数据包不能按时到达，播放过程会暂停，那是很令人讨厌的。一个在超过延迟时间范围后到达的数据包是没有用的，并被视为丢包。因此互联网引入了变化时间的延迟以提供连续的播放，在接收端解码前加入一个缓存。
3) 丢包：在互联网上，丢包是不可避免的，但同时它又给图像带来了损害，使人眼感到不舒服。因此，视频流对于丢包能鲁棒是很必要的。多重描述译码就是这样一个处理丢包的压缩技术。
4) 录像机功能：一些流应用程序需要类似录像机的功能，如停止，暂停/重新开始，快进，快退和任意的通路。对于MPEG视频流，Lin et al提议了一种双比特流最小成本方法来有效
地提供录像机功能。
5) 解码复杂性：一些设备需要低功耗。因此，这些设备上的视频流应用程序必须很简单。特别的，解码低复杂性是很必要的。Lin et al使用了一种最小成本方案降低解码复杂度来解决这个问题。
我们已经讨论了不同的压缩机制和编码解码必要条件。下一步，我们阐述应用层QoS控制机制，它根据网络状况和QoS 要求来改变视频的比特流。
