中国超高清HDR、3D AUDIO标准及应用

中国工程院丁文华(院士)

当前,中国广电行业,广播工业特别是电视终端方面的发展,从全球角度来看速度之快是毋庸置疑的。中国在2017年生产的支持4K的电视机就已经是3300万台,这样的数据已经占到全球超过40%的生产量。预计到2020年时,全球4K入户数可能要突破3亿3千万。这3亿3千万户还不考虑一家有两台或多台电视的情况,超过一台电视也只算一户。其中中国至少在1.2亿以上,将成为全球最大的4K电视消费市场。

一超高清HDR3D AUDIO标准

1. HDR标准

1HDR标准进展情况

按照工信部和总局要求,我们2016年开始启动,规划HDR相关的需求,5月召开启动会,发布《HDR技术需求草案》《HDR测试方案草案》《工作章程》《IPR政策草案》4份文件,6月定稿并面向全球启动提案征集。在方案征集上,HDR的解决方案从现在来看就集中在几家,一个是北美阵营的杜比,第二个欧洲阵营,主要是飞利浦和特艺,国内有华为,建议书方面有索尼、三星、华星光电。在标准制定的过程中,把全球面向HDR的方案都收集到了,做了一个遍历。之后进行了专门的评估,并做了两轮的技术测试。到现在已经完成了中国标准HDR草案,提交总局科技司走审批的相关程序。

2HDR标准技术需求

基本需求如下:

面向大尺寸家庭显示终端,支持广电和互联网应用;

●LCD能力要求:最高亮度≥ 1000nit,最低亮度≤ 0.01nit

●OLED能力要求:最高亮度≥ 540nit,最低亮度≤ 0.0005nit

曲线:支持 PQHLG

色域:BT.2020

位深:10bit

编码方式:AVS2

其中,对于电视机的显示能力,国内通过工信部三所调研过的结果,考虑是否需要显示亮度这么高,600800是不是就可以。综合国际产业界的共识定在1000尼特以上,我们认同这样的标准,并考虑更宽的范围。对于LCD,如果屏的生产厂家能做到2000尼特,就是非常好的技术指标。但是关键是要黑得下去,至少要低于0.02,达到100000:1,我们当时考虑的范围是0.01尼特~2000尼特。从这个角度看,LCD的显示器不够1000尼特,业界就认为是不合格的,1000尼特是基准线。OLED的能力要求,在最低亮度这一块完全没有障碍,最高亮度从现在来看,现在工业界基本认同的是大于540尼特。我们的标准当然比这个范围宽,在评估当中,也用到索尼的1000尼特OLED的监视器。另外,根据政府要求,中国采用基于AVS2的编码体系。

我们的标准,重点要解决的是“Tone Mapping”,即色调适配,如何能让电视机正确显示,这里不止HDRHDR,如果电视机不支持HDR,要解决HDRSDR如何正确显示,更重要的是HDRnear HDR。何为near HDR,大量电视机现阶段达不到1000尼特,在600800,包括OLED电视机达到400600,怎么样正确显示?这是标准在显示方面的核心。

第二,各国在传输方面考虑两个阶段,第一个阶段是SDR+Metadata,做完HDR,传输变成SDR,来节省传输的码率和传输带宽,在终端再根据metadataSDR图像重新渲染成HDR。一般来讲,HDR图像在统计上至少比SDR图像高出20%的信息量。第二阶段就是HDR+MetadataHDR做完就直接传输HDR

3HDR技术评估内容

技术分析上,完成了不同方案的技术分析,对各提案方所提方案曲线支持情况、元数据情况(静态+动态)、显示适配实现方法等技术特征进行评估比较,形成《HDR技术提案分析报告》。也做了两轮测试。第一轮测试不含编解码,仅包含前后处理和显示适配环节,第二阶段是端到端全流程的测试。

最终的测试结果,在阶段选择上,由于HDR的图像多增加了信息量,特别是同样码率下,SDRHDR显示过程中,在高亮度和高饱和区会出现问题。经过全球的专家分析认为,这主要是由于曲线的原因,在高动态范围里安排的能量不够,所以希望在编码体系上,对于高亮度点、高饱和度点,采取能量的重新分布,这样就形成了AVS2的优化方案。优化后编码版本,HDR的传输比SDR的传输码率只高了5.7%。这比原来预估的20%少很多。如果选择30兆到36兆码率传输HDR,传HDR和传SDR,实际上只多花费两三兆的码率。因此就没有必要在传输上,把HDR的内容换成SDR了,直接采用阶段二方案(HDR+Metadata)即可。这样还有一个潜在好处,传递HDR可以更好地呈现原始节目质量,日后做HDRSDR转换适配过程中,从高往下适配,显然比从低向高的适配简单。

阶段二的方案经过评估,最终选定了飞利浦+特艺阶段二的方案,直接传HDR。另外,现在全球对HLG的认可,也形成了HLG方案,对1000尼特制作亮度信号采用直接传输,对高于1000尼特制作亮度信号传递信号再加上Metadata,终端采用gamma值调整方法进行显示适配。

2. 3D Audio标准

13D Audio标准进展

作为4K最重要的沉浸体验指标,除了大屏 +HDR以外,就是3D Audio。这一块方案我们也是在20165月起步。共征集到7份有效技术提案,分别是:广晟、捷成、米谟、杜比、青衿、武大/天大和动听。到现在为止,我们基本完成所有的测试。这一代方案根据评估的结果,最后没有选惟一一家,而是做了两个方案的融合。一个是在传输方面做得好,一个是在渲染方面做得好。

23D Audio技术需求

基本需求,从现在情况来看,在欧洲以及欧洲相关的标准当中,还有美国标准当中都考虑Channel-baseobject-base两种模式。我们基于16通道制作,而且选择5.1环境,上面加4H双层场景。场景选择还是比较多的,直播场景我们定为至少有4object,使用环境当中既要支持广播的网络,又要支持互联网。

在听的环境中,既要解决音箱组,也要解决在传统耳机产生的三维声效果。由家庭墙反射的Soundbar现在有非常大的发展,现在还存在不确定性。需要今后制定一种评估的方法,故此次没有纳入需求。此外,这次标准我们也没有考虑三层声道的情况。

  

33D Audio技术标准评估

两轮测试,第一轮是面向传输段编解码效果的主观评价,要建立16声道的传输体系,最后在声道传输方面,欧洲的Fraunhofer/动听胜出;第二轮面向前端制作+终端渲染效果主观评价,Auro/捷成胜出。

HDR节目制作

1. 场景分析

HDR无非两种情况,一种是直播场景,一种是后期制作场景。直播场景如冬奥会、此前的欧洲杯,包括今年马上就要举办的世界杯。现阶段各方一致认同采用HLG1000尼特、BT.2020进行端到端传输。在2016年以前,有些厂家生产的摄影机,尽管做的是4K,实际上只支持709色域,这只是一个过渡期的产品。到去年的NAB,大家都一致认为4K设备要支持HLG。东京的2020奥运会,必然要使用BT.2020。而且今后的现场制作肯定是4KHD共存的时代,不是替代。要考虑同时输出4KHDRHDSDR。原则上不考虑同时制作4K HDR4K SDR。在今后节目制作时,如果成本不允许、制作条件不充沛,可以做4KSDR内容,但不是做4K HDR内容加上4KSDR,没有这个需求。今后如果导入PQ制作,或者是HLG支持2000尼特的制作,要考虑静态和动态元数据的提取传输。

  

后期制作场景主要面向ENG和非线编的制作场景。面向终端传输标准PQHLG,必须要合规。7092020色域变化必须要合规,制作过程中引入像索尼S-Log3,我觉得完全可取。4K做出来之后,PQ可以输出2000尼特内容。事实上我们在这次提交测试组测试材料当中,已经制作2000尼特测试素材了。这一部分的素材,也提交到ITU标准当中,这是中国首次向国际标准组织提交HDR素材并被采纳。

2. 直播场景方案

直播场景当中,首先一种方案就是直接制作4K HDR,根据需要在切换台输出4K HDR后,进行下变换生成HD SDR。切换台前端引入HD SDR 信号,需进行BT.709BT.2020的色域变换,反之也是如此。

第二种方式是去年索尼提出的SR Live,它同时考虑SDRHDR的制作,并同时进行了监控和质量管控,HDR相关方面同时管控,经过切换台输出。这个方案比刚才第一个方案好处在于,可以同时保证基于UHDHDHDRSDR的增益差,6dB还是8dB,使用者可以自己去把握。

现在提出来一个所谓Side by Side制作方案,前端和摄像机这块基本一样,通过CCU转变成高清。它不再用变换器,同时摄像机、HDR的制作上来就用HLG,不再用S-Log3。因为很多厂家的摄像机并不支持S-Log3,而是直接支持HLG,用这样的摄像机直接输出HLG的直播信号。

  

3. 后期制作

在拍摄方面,如果不用HLG拍摄,用PQ拍摄的话,绝对亮度的拍摄方法相对复杂,与传统的电视拍摄差异较大。对于非线编,要支持色域变换(BT.709 ? BT.2020)、曲线变换(PQHLGS-Log3等)、色彩管理(确保整个节目画面色调统一)、静态元数据输出(动态元数据可放在播出端生成),输出文件包含HDR元数据、色域和曲线信息。以后,非编一打开,首先要确定是基于SDR还是HDR做。一旦确定了HDR,还要考虑是基于PQ做还是HLG做,只有都确定好了,才能开始导入素材,进行变换适配,从而开始制作。

4. 3D Audio

1)扬声器布局

三维声制作,我们选择了最简单的方式。国内最主要的方式是所谓的4+5+0,主要是用5.1。按照ITU-RBS.2051的标准,先定义一个底层、中层、上层,所谓4-5-0的模式顶层有4个音箱,中层有5个音箱,下层没有音箱。而NHK基于大量的调研和测试,提出了22.2,就是所谓的9+10+3模式,上层9个,中层10个,下层3个。但考虑到现在的家庭环境,能做出下层音箱的确实很少,所以基本倾向于从简,取消下层,用双层模式。那么电视台的制作中,需不需要下层音箱呢?比如说奥运会观赏滑冰,滑冰场现场观众座位比较高,声音是从下面出来,但实际上如果回到家欣赏,听不到下面的声音,观众感官上认为就是在水平面上。这一块的声音,制作上可以从下面收录,但实质上当观众头往下的时候,就是正面来的声音。这次冬奥会也尝试一些三维声的制作,只是加了上层。

  

2)制作模式

在制作方面,基本按照ITU的标准,不管是语音还是效果还是音乐,从现在情况来说,面向16声道的制作,其中两个面向声音的主要因素,第一个就是声床,要基于通道。如果是5.1.4,十个音箱还原的是基本声床,声床是基于通道实现。有些声音的动态元素,我们叫对象,包括对白及解说、鸟叫、飞机轰鸣这样的独立声音元素。两者制作理念不一样,对象是需要在终端根据元数据渲染后实现。

3)元数据

三维声元数据,特别是动态的元数据是很重要的数据。内容包括支持响度控制、下混控制、声道描述、LFE声道开关、节目相关信息描述、节目类型描述等信息以及具有对object对象在三维声场中的坐标定位、运动轨迹、音量大小、对象声音有无等信息的描述。在规范方面,目前已有多种3D Audio制作工具,大大丰富Object制作手段,不同制作工具生产的元数据需要统一的规范,ITU-R BS.2076定义的音频定义模型(ADM)涉及多种元素和场景,下一步工作组计划考虑ITU-R形成针对广电的ADM模型(Broadcast Profile)。

5. 播出系统

对于元数据的传递:

直播信号场景:对HLG信号,不需处理;对PQ3D Audio信号,通过HD-SDI传递元数据给传输编码;对于PQ和三维声的元数据在制作域如何传递,相关标准都在制定过程中;

制作文件场景:对于文件,Player能够解析元数据,根据需要封装到HD-SDI里;

流式分发场景:基于HLSMPEG-DASH进行Streaming元数据封装,终端可以解析呈现。

质量管控方面,对HDR3D Audio内容提供检测验证,确保相关信息完备、合规。

未来的音频播出系统,不可能个个都是三维声,依然维持立体声、环绕声以及三维声混合播出。要解决混合播出的问题,完成响度控制、Downmix播出功能。

视频方面,同样要解决HDRSDR混合播出的问题。在HDRSDR混播当中,SDR画面显得不清楚,有时候插播一个广告,原来看1000尼特,突然看到100,感觉电视机有毛病,产生不适的感觉。为此,如何对插入在HDR节目间的SDR节目(如广告)做修正,使SDR内容看起来类似HDR内容,减少观看不适感觉就成为了一个重要问题。因为很多灰度细节丢失,SDR彩色空间比HDR小得多,SDR内容无法完美还原成HDR内容。这时就需要通过综合平衡SDR内容的色调、色彩饱和度和亮度值,从而获取look-like HDRSDR增强内容。就像声音广播的响度一样,现在有人提出HDR播出时的视觉响度问题,也就是亮度、对比度的动态范围问题。

  

6. 新一代编码体系

视频编码这块,国内条件已经具备了。测试结果标明AVS2HEVC性能相当,RD 19.1版本已完成针对HDR的优化,面向HDR编码与面向SDR编码的码率差别在10%以内。国内已有至少3家公司支持AVS2编码器生产,可支持4K 50P10bitBT.2020编码,码率可支持30M~36M,延时特性基本满足需求。下一步计划构建基于云计算的的AVS2在线编码云平台。另外,考虑到国内海外节目的互联网服务,中国HDR标准考虑在ITU-T T.35的体制下适配HEVC编码体系。

音频方面,建立16通道三维声传输体系,与现有6通道环绕声传输体系兼容并存。中国3D Audio标准传输编码与MPEG-H契合,因此海外节目互联网服务的编码适配不存在障碍。

7. ChinaDRM内容保护

内容保护是在今后4K内容当中必然要做的事情。如果没有内容保护,哪一家也不敢把4K的内容敞开播放。内容保护做了很多年,已经构成完整的体系。包括发证的CDTA,还有ChinaDRM LAB实验室做认证,这一块国内的解决方案已经完全可以做了。

在这个体系当中,认证中心、内容发布者、用户三者之间的关系已经明确,相关的标准也已经出台。通过在节目中加入可追踪的水印,一旦出现盗版,可以进行追溯,保证内容供应商、服务提供商、设备制造商的利益。这种研发、部署、运行的内容保护体系也与好莱坞对接了多年,好莱坞对中国China DRM体系非常认同。

体系定义了三个安全等级,也是跟好莱坞共同制定的。现在网站上看到的都是软件安全级别,只播放到720P。往上还有硬件安全级别和增强硬件安全级别。目前,二十世纪福克斯电影公司、华纳兄弟影业已正式加入ChinaDRM生态体系,用ChinaDRM保护其版权内容。中央电视台央视专区有线点播平台4K节目已部署ChinaDRM系统。爱奇艺、腾讯视频等视频网站,7个互联网电视牌照方,江苏、广东、陕西、重庆等地有线电视运营商都将陆续部署ChinaDRM系统。

8. 终端适配

支持中国HDR标准的芯片,华为已经发布。由于3D Audio的芯片是两家融合,在今年下半年也会推出来。

  

支持Enhance Profile的高安全芯片,华为也已经具备。机顶盒方面,HDR3D Audio引入,将会带动新一轮面向50P/60PHDR3D Audio的设备升级,运营商和OTT机顶盒提供商需制定设备更新的规划和准备。国内电视机这块,想达到1000尼特的体验,电视机厂家和屏幕生产厂家要共同解决高亮度屏的支持问题。

9. 4K内容供应

中国即将进入4K/UHDHD并存时代,广电体系应及早进行频道规划,针对体育、娱乐、专题纪录片、电影、电视剧优先考虑开通4K频道。考虑到制作成本和周期,内容制作可选择HDRSDR3D Audio或环绕声,同时配套相关政策鼓励包括社会力量在内的资源制作4K/UHD HDR3D Audio节目。鼓励4K/UHD节目和内容多渠道传输和分发,不要网站拿了内容就不给广电,广电拿了内容也不给网站,希望大家共同繁荣内容系统。

三小结

中国HDR3D Audio标准的颁布,肯定会带动消费电子的快速发展。如果说三四年前讨论4K有些超前,实际上现在4K就是现实。中国推广 4K/UHD所需的产业化条件基本具备,2018年下半年将会加快产业部署行动。4K/UHD节目制作需积累经验,相关制作规范要逐步完善,但总体而言没有不可克服的障碍,应该立即实施,需要中央电视台,以及全国各地方台的积累。未来5年是中国4K/UHD发展的黄金时期,广电界应抓住机遇,携手产业链相关各方共同推动产业加速发展。 

(来源:现代电视技术)