|
|
| 电视台视频网络系统 | |
| [作者：中科大洋科技发展股份有限公司 郭健] |
| 【摘要】
商业挑战：
电视台需要无纸化、无带化的新闻系统，系统的存储部分必须满足非常高的带宽要求和带宽的稳定性（QoS），以确保新闻的滚动播出的时效性，同时降低系统成本。
解决方案：
我们为电视台设计的方案以SAN作为网络存储主架构，用以保证节目的采集、制作和在线播出，辅助以以太网实现双网结构，一方面作为SAN的管理，另一方面用于网络扩充。
SAN的优势：
选择SAN作为存储网络的核心是因为其具有不可比拟的读写速度、可扩展性和安全性。SAN能够满足实时视音频编辑和播出所需的读写速度，能够实现对素材内容的并发存取。
非线性网络当前现状和需求
当今，为了电视节目的数字化制播更实时高效，非线性视频网络系统被广泛应用，系统中最为关键的需求就是实现内容的交换和共享。因此，为了满足视音频应用的要求，它必须是一个数据传输低延迟并且有较高带宽的网络系统，另外由于巨大的视音频数据，系统必须支持足够大的存储容量，而且可以很容易进行存储容量的扩展，支持远距离连接，而性能不因距离的增加而下降，系统支持各种开放的平台。
现在的计算机网络系统，基本都是以服务器为中心的处理模式，存储设备（包括磁盘阵列，磁带库，光盘库等）作为服务器的外设使用。当服务器之间交换数据时，都是通过局域网（LAN）进行，占用大量的网络开销，严重影响网络的性能。传统的LAN网络不能很好地保证QoS，不能适应视频应用的实时性要求。这样，针对目前的网络环境，下列的需求变得越来越迫切：
● 能够共享的大容量、高速度存储设备。
● 数据传输低延迟，较高的QoS保证
● 较高的网络带宽
● 不占用LAN资源的大量数据传输
通过上面的分析，视频网络需要新的网络结构：存储网络。这种网络不同于传统的局域网和广域网，它是将所有的存储设备连接在一起构成存储网络，目前技术的发展已为我们提供了可能，光纤通道（Fibre Channel）的存储设备(千兆速度的存取)，光纤通道的Switch等设备的出现将存储领域推向了网络化的新阶段。诞生了存储区域网（Storage Area Network）。
SAN以光纤通道（FC）为基础，实现了存储设备的共享，突破现有的距离限制和容量限制，工作站通过存储网络直接同存储设备交换数据，提高了存取带宽和响应速度，释放了宝贵的LAN资源。
实现SAN
从现有的技术上看，并行SCSI，FC，SSA，IEEE1394 是比较适用于非线性编辑和非线性网络，FC是最适合非线性视频网络应用要求的。
SAN主要包括以下几种连接方式：点对点（Point to Point），仲裁环（Arbitrated Loop），和交换网（Switch Fabric），其中交换网（Switch Fabric）在视频网络中应用最广泛。
在光纤通道术语中，网络(Fabric)是由交换器(Switch)组成的网络拓扑结构。每个Switch网口提供1 Gigabit/s（2 Gi ga bit/s全双工）的带宽，所以从一个网口到另一个，或从一个Switch到另一个Switch的数据交换都具有1Gigabit/s的吞吐量。并且由于在每一个Switch的网口之间可以同时传输，总传输能力可以达到数千兆位/秒。SAN正是在这种光纤通道网的基础上建立起来的。音频/视频后期制作，要求专用的高速连接来传输关键(mission-critical)数据， 而不受外来打扰。通过光纤通道网，将多个主机和存储设备互连在一起。
为了适应高带宽的应用，可以连接单个结点的Switch 网口被称做F-Port（Fabric Port）。F-Port提供合理使用Switch的交换并优化吞吐量的特殊服务。一个连接到Fabric的结点或称F-Node将进行一个到Switch的登录，这是为了登记它在某个特定口上的存在。它的标识是一个24位地址，该地址和该结点唯一的64位WWN(World Wide Name)相关，并且成为该Switch路由表的一部分。
Switch也可以提供一个SNS(Simple Name Service)，该服务和提供服务的节点的硬件地址相关，例如:标识一个结点为RAID设备。如果不用SNS，为了找到在网络中的存储设备，主机必须在24位地址范围(16百万地址)内进行查询。
在Fabric中的Switch提供SNS服务，要求端节点(HBA 和磁盘阵列控制器)的设备驱动程序能够进行Fabric登录。由于主机总线适配器(HBA)和磁盘被设计为适应专用仲裁环 (AL)，而不是公共网络Fabric连接，在存储网络中，Switch 一般提供了支持专用仲裁环(AL)连接的接口。下图是一个典型的SAN结构。
一个复杂的SAN可以是由多个光纤通道交换器Switch， Hub和Bridge互连起来的网络（Fabric）。 Fabric Switch是一个具有交换功能的，网口和网口之间并行进行千兆传输的控制器。它类似于LAN中使用的Switch。
一个典型的光纤通道交换器（FC Switch）提供8-16个网口，并且每个网口是完全的千兆位速度。同以前用的以太网交换器（Ethernet Switch）建立的模式相仿，一个光纤通道交换器（FC Switch）的网口可以支持一个单个节点或多个节点的共享环。由于一个交换器（Switch）为了正确地路由每一个口信息帧，因此需要更强的处理能力、内存和微代码。多个交换器连接起来形成了一个大交换网（Fabric）。
在127个仲裁环节点地址中，一个地址被保留用于连接仲裁环到光纤通道交换器（FC Switch）上。所以一个仲裁环（Loop）可以加入到一个更大的网中或是由多个交换器（Switch）和仲裁环（Loop）建立的网（Fabric）上。仲裁环集线器和交换器的结合在分配带宽和设计存储网络分区上提供很大灵活性。
所谓存储网络分区，如同建立虚拟专用网络，在网口的基础上将一些网口和另一些网口分开，这样以来可以用一个交换器（Switch），使得一个服务器共享一些资源，而另一个服务器共享另一些资源。同时也可以使两个服务器共享一些资源。而相互之间不受干扰。这一特点在大型存储网络使用中有很高的实用价值。
光纤通道交换集线器（Switching Hub）是一种能够提供仲裁环（AL）和网络交换优点的变种技术。一个交换集线器通过管理一个或多个仲裁环分区（AL segment）的地址空间，来建立更大型的逻辑环（Loop）。这样允许在物理上分立的环（Loop）上节点可以透明地跟另一个节点通信，而保持了每一个环（Loop）上的高可用带宽。交换集线器优化和扩充了仲裁环的性能，以及价格优势。它还给出一些网络交换（Switching）的优点。交换集线器（Switching Hub）在多个物理仲裁环（AL）上提供了并行的千兆存取。
SAN在非线性视频网络应用中，出于实时传输视频数据的需要，以最高画质的数据流来计算，一个用户级仲裁环可容纳4-12个用户稳定运行。如通过Switch扩充至交换仲裁复用结构则可将用户扩充很多。它使用全双工串行通讯原理传输数据，传输速率高达1062.5 Mbps，Fibre Chan nel的最大数据传输速度为100MB/S，双环可达200MB/S，使用同轴线传输距离为30M，使用单模光纤传输距离可达10公里以上。
虚拟存储
虚拟存储是指把多个存储设备通过一定技术手段管理起来，使存储设备看起来像一个存储池。从应用的角度看，用户看到的不是多个硬盘，而是一个更大的逻辑分区，也就是说用户可以将多个存储设备性能、空间集成起来利用。
存储区域网（SAN）的发展目前正处于全速上升期，各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列，主机通过硬件层直接访问阵列中的硬盘的SAN结构，虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来，使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量，从而简化用户和系统管理人员的工作难度。
目前虚拟存储的发展尚无统一的标准，从虚拟化存储的拓扑结构来讲主要有两种方式：对称式（symmetric）与非对称式(asymmetric)。对称式虚拟存储技术是指虚拟存储控制设备与存储管理软件系统、交换设备集成为一个整体，内嵌在网络的数据传输路径中；非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式：数据块虚拟与虚拟文件系统。数据块虚拟主要解决对带宽要求较高的应用程序的需求，而虚拟文件系统主要解决分布式计算的需求。
目前应用的虚拟存储技术可以分为两类，一类是以 DataDirect公司的SDD(STORAGE DATA DIRECTOR)为代表的IB(In-Band)；另一类是以StoreAge公司的SVM (STORGE VIRTUALAZATION MANAGE)为代表的OB(out-of-Band)。
SDD内置精简的操作系统，存储虚拟化控制由系统完成，可以实现端口、LUN的虚拟化，由于其结构的先进性和虚拟化技术所带来的性能飞跃将在存储子系统中详述。
SVM是一个软件产品，全系统通过一个PC来完成虚拟存储控制，对于需要共享“存储池”的工作站，在它的HBA 驱动上建立一个控制，以接管驱动对存储的访问。SVM所管理的系统是一个传统SAN结构。虽然SVM可以将各种不同存储设备混合起来用，但是由于分离存储系统的安全性指标、性能等的差异和传统的SAN结构不可避免的限制和热点问题，系统的安全性也不高。
回顾所有现今可获得的厂商产品以及所使用的技术，可以看出一个共同点：存储虚拟化方便地使信息按照“SAN 的协议”进行传输。没有了虚拟化，每一个SAN解决方案都只不过是一个难于管理的，虚拟化极大地减少了SAN的复杂度。目前我们将厂商的产品分为三种基本类型：SAN Appliance，SAN-in-a-box，分布式解决方案。
SAN Appliance是用来管理SAN结构和各个存储设备，以使SAN上的各台主机将存储设备看作虚拟存储池。这种方式大都以软件的方式实现，该软件可以运行于标准的硬件平台，作为一台存储域设备提供存储体和主机之间的数据服务。
SAN-in-a-box是集存储管理、存储子系统和交换功能三方面于一体的综合解决方案。这些虚拟化产品通常作为一个独立的存储设备加入到SAN存储网络中。当考虑在一定规模内扩展端口、扩大存储容量、进行平衡负载和进行冗余配置时，这一方案具有伸缩性。
SAN-in-a-box方案管理起来相对比较简单，因为磁盘子系统通常是一种类型的，这样避免了对多类型设备进行管理。通常一个SAN-in-a-box设备通过使用大缓存和排队以满足高数据存取速度的需求。
分布式解决方案在块（block）级和文件级都寻求虚拟化存储。目的是通过再增加一层SAN文件系统，来建立一个块级的存储管理解决方案。这样一来不仅文件存取范围变广，而且通过服务器来永久性地固定数据路径。目前可行的解决方案涉及到针对容量和文件管理的服务器软件以及针对每台服务器的代理软件。为满足需要，分布式解决方案必须对所有的SAN资源保持高度的开放性，与文件系统和其他标准SAN实体具有合适的应用编程接口。
每一种结构都有自己的优势和局限性。对它们进行比较需要对每个SAN都需要的设备有全面的理解。这些先决条件取决于提供什么样的处理方法（如，应用型，不间断访问型，等等），还有提供什么样的技术环境。
存储虚拟化的地位不容忽视。它的重要性贯穿于下面各个问题：SAN的下部基础结构是怎样的，设备的互用性如何，在使用的管理方案中哪种类型起主导作用。
针对于视频编辑的应用需求，从系统容量、带宽、管理、冗余等方面进行比较，SAN-in-a-box产品更适合非线性视频编辑网络的需要。
以SAN为核心的双网结构
在SAN存储共享方案中，物理/逻辑关系都被打破，文件系统和物理资源间建立起一个虚拟层。虚拟层将文件系统映射到物理资源上，并对存储设备的分配进行管理，这样 SAN上所有的存储设备都可以表现为一个单独的（或多重的）可通过SAN上的任意服务器访问的磁盘映像。
实现数据、文件或存储共享可以通过几种方式，它们的区别在于对资源的控制在何处执行。一个主要的区别是存储管理控制是在数据通路内（带内）还是局域网上（带外）执行。带内执行的方式采用一个存储域服务器或SAN设备，用来截取数据并控制对由它管理的虚拟存储池的访问。代表性的软件如TRANSOFT公司的FibreNet，这是许多视频专业厂商98年采用的技术。带外SAN管理通常是SAN+LAN 混合结构，控制信息通过局域网传送，而数据通过SAN传送。代表性的软件是IBM Tivoli公司的SANergy，该软件如今已经得到广泛的应用。
像SANergy这样的软件，实现的是一种无文件服务器的文件共享机制，当然SANergy需要MDC（元数据控制器）。但是实际上每个用户是通过本地的光纤通道高速I/O方式，访问存储在共享SAN设备中的数据。SANergy依赖于操作系统的文件系统。
更新的方式是建立自己的文件系统，抛开NT的NTFS 和UNIX的UFS不能兼容的束缚，使异构平台之间实现高效的共享。当然这种技术目前还比较新，还存在着许多问题。比如，在英语区国家的文件系统，每扇区512字节，亚太区为1024字节，如果不考虑到这些细节问题，建立自己的文件系统企图兼容各个系统平台，都会遇到麻烦。
综上所述，更加成熟的SAN共享技术通常是SAN+LAN的双网结构。SAN共享技术的关键是如何实现对共享存储设备的高速访问，而像SANergy这样文件共享的软件，正是解决之道。
光纤通道网络加以太网的双网结构，几乎已经成为非编网络的标准结构。曾几何时，一个纯粹的SAN的非编网络也一度流行，但是随着技术的进步和市场的变化，逐渐被淘汰出局。其中的缘由有以下几点：
1. 双压缩比采集和离线编辑技术的实现，使得有些编辑工作可以在无卡工作站上完成；
2. 千兆以太网技术使低码率的视频编辑可以在以太网上实现；
3. 使非线编网络具有了很高的扩展性；
4. 极大地降低了投入成本，更有效地利用网络资源；
5. 新的SAN网络共享技术的要求；
6. SAN+LAN结构在系统设计和应用中有着不可比拟的优势。
我们知道，视音频和其他信息（如文稿）相关性很强，只有结合使用才能极大地提高工作效率。类似文稿这样的信息放在数据库中，通过以太网传输；而大规模视音频数据只能通过FC传输。以太网和光纤通道的融合，使得各种相关数据可以有机地关联起来。双网结构建立了文字和视频素材同时编辑的网络基础。我们从上面的论述中可以看出， Offline Editing是大型共享系统的必然选择。而建立一个双网结构的网络系统，是Offline Editing的基础。它们必将提供更好的服务和功能。
Online和Offline编辑
Online Editing实际是指利用数字视音频板卡，如MATROX公司的DigiSuite，完成编辑、字幕、配音、特技等工作。Online Editing自带硬件板卡，所以画面流畅、质量优异，可以直接进行视频的输出。但是Online Editing的问题是造价比较高，占用网络带宽较大，受板卡本身的限制，硬件特技的种类、数量、扩充的余地不大。
Offline Editing不能对视频进行采集，所有的素材必须依赖Online系统，但是同样可以完成编辑、字幕、配音、特技等工作。Offline Editing造价极低（与Online Editing系统相比），占用网络带宽很小，由于全是软件完成各种编辑效果，灵活性强，扩展起来容易，而且目前Offline Editing的画面质量可满足编辑和浏览的需要。
实现Offline editing的关键技术是高低压缩比镜像采集技术、软编辑技术、双码流帧帧对应的编辑技术。
实现离线编辑的前提是高低压缩比镜像采集。当我们采集一段视频时，形成视频文件时，同时生成另一路较低码率的视频文件，这两种文件帧帧对应。
无卡工作站可以通过以太网访问较低码率的视频文件，利用软解压技术、软件的视频特技算法，进行视频的编辑，如剪接、字幕、配音等，最终形成EDL。无卡工作站不仅能保证整个入出点设置的零帧误差，还能保证整个搜索过程的平滑过渡。同时在这个系统里还有诸多的特技，如划像、叠画、三维、二维等等。
有卡工作站调用同一个EDL和对应的高码率文件，其中所有的编辑点，特技效果完全对应，即编辑结果完全对应。最终，有卡工作站完成视频信号的输出。
在大洋公司原有的无卡工作站中采用了低码率的 MJPEG 和MPEG-2格式用于Offline editing，随着视频压缩技术的进步，更高的压缩效率，更好的视频质量的 MPEG4、MPEG7技术出现了，大洋已研制成功基于MPEG4格式的Offline ed it ing技术。 MPEG4特别适于低码率的离线编辑，甚至可以用于宽带网的应用。另外， 800K的MPEG-4与1.5M的MPEG-1、3.5M的MPEG-2-IBP420、4.5M的MPEG2-422的图像质量相匹配。也就是说，我们将得到DVD画面质量，而付出的代价比以前小得多。相对于原先使用Offline ed it ing技术，MPEG4的Offline editing技术无疑又是一个重大的进步。
小结：以SAN为核心的非线性网络系统超过了用户们的预期
为了向电视台提供一个强大的、可扩展的非线性编辑网络解决方案，这一方案能够进行扩展，同时确保所有工作站对同一内容进行并发存取，SAN技术避免了其他存储网络结构的限制。
在所有需要进行每秒钟上百兆字节数据传输的网络中， SAN是一个可以提供电视台所需的可扩展性、集中式管理和更高可靠性的系统。
选择SAN作为视频网络存储核心是基于其无可比拟的可实施性、可扩展性、冗错性、高可用性，SAN为视频网络提供了有保障的带宽，现在用户可以直接编辑在共享存储的素材。
SAN出乎电视台和和网络集成公司的意料，它使得建立一个高性能的视频网络成为可能，而且目前这样的网络能够扩展至80-100台实时存取共享数据的系统。 |
|
|
|
|
