快捷搜索:  as  2018  FtCWSyGV  С˵  test  xxx  Ψһ  w3viyKQx

和记怡情娱乐苹果下载:腾讯刘杉:5G时代 人工智能技术将成媒体融合的推进器



首届Techo开拓者大年夜会在北京召开。本届Techo大年夜会约请了海内外150位行业专家环抱前沿技巧成上进行解读。腾讯精彩科学家、多媒体实验室总经理刘杉颁发了主题为“视频编解码技巧的演进和利用”的演讲,从在线视频驱动互联网流量爆发的技巧支撑与技巧现状,当前主流视频编解码款式和标准的拟订,视频编解码技巧的演进和利用,以及5G期间下多媒体营业的成长偏向等方面,分享了腾讯多媒体实验室的最新成果与思虑。

刘杉在演讲中先容了当前互联网流量的滥觞散播,并估计2022年跨越82%的互联网流量将来自于视频或者包孕视频的利用,而这一增长趋势蕴涵着伟大年夜的商业代价。

视频编解码技巧听起来专业难解,可是它的利用却与人当下的感官体验有着亲密连接。比如大年夜众日常打仗的腾讯视频、微视、微信、QQ等与视频亲昵相关的产品,照样其他互联网公司天天孕育发生的视频内容,都因此压缩的形式传播的。而视频压缩即视频编解码,它的效率,直接影响到一个产品或者一套办理规划的效率、资源、品德,以致是成败。刘杉在演讲中也分享了视频编解码技巧以前30年的演进过程,并指出当下视频编解码的架构变得加倍繁杂,承载的技巧加倍富厚,而这些技巧的蜕变都使得压缩效率赓续提升。

只管压缩效率异常紧张,但并不是所有人都在应用压缩效率最高的编解码款式,由于不合的利用处景对视频编解码器的需求偏重有所不合。刘杉表示,在质量、延迟和带宽或者资源之间探求一个最优平衡点是腾讯多媒体实验室努力的偏向和目标。

以云游戏为例,在线游戏行业千亿市场,但云游戏商业化面临的现实寻衅是它的高资源。云游戏因此云谋略为根基的游戏要领,刘杉表示对其资源布局进行拆解后发明,云游戏最大年夜一块成原先自于带宽 34%,其次是GPU 27%。“视频编码器的优化将有助于大年夜大年夜低落云游戏的带宽资源,推动云游戏商业化,”刘杉表示,“腾讯多媒体实验室已经和正在应用的视频编解码器优化策略。比如,启用更高效率编解码款式,对硬件编码器进行优化,针对不合游戏场景优化编码对象集应用,同时支持多款式软件硬件编码器并根据内容和分辨率进行切换,动态编码码率策略,ROI编码和收集自适应编码技巧,硬件解码衬着一体化等。”

无论视频流量的持续增长照样云游戏的商业化,当前都正面临着一个历史性风口浪尖,即5G。刘杉觉得,5G收集供给给我们超强的带宽,超低的延迟,使得更多的利用触手可及。在5G的影响下,媒体内容的临盆、获取和传播要领都在发生变更。“无论是4K/8K,照样VR/AR/MR/点云,这些在以前由于受限于收集带宽的利用,在5G的推动下可能会迎来冲破。而5G的低延迟特点还将触及医疗和其他一些倚赖高速连接和互动的领域,例如远程手术和自动驾驶等。此外,刘杉觉得,在万物互联的5G期间,媒体的智能化已经成为弗成阻挡的趋势和成长偏向,人工智能技巧成为媒体交融紧张的技巧手段和对象。

截至今朝,腾讯多媒体实验室约70个技巧提案已被 VVC 采用,多人在标准组织中担负紧张职务,并将王者光荣推入标准测试序列。作为国际行业标准弗成漠视的影响者和引导者。腾讯多媒体实验室专注于多媒体和相关领域的前沿技巧探索、研发和产品落地,包孕音视频编解码、收集传输和实时通信,基于旌旗灯号处置惩罚和深度进修的多媒体内容阐发、理解、处置惩罚和质量评估,沉浸式媒体(VR、A和记怡情娱乐苹果下载R、点云等)系统设计和端到端办理规划;同时认真国际海里手业标准拟订,包孕多媒体数据压缩,收集传输协议,多媒系一切和开源平台等。

以下为刘杉演讲全文:

尊敬的各位引导、女士们、老师们,上午好。迎接来到北京,来到Techo开拓者大年夜会。我是刘杉,来自腾讯多媒体实验室。本日要和大年夜家分享的题目是“视频编解码技巧的演进和利用”。

视频编解码作为一个钻研或者研发领域已经存在了一些年,大年夜家并不陌生。无论是从早期的数字电视期间,照样到后来的OTT和现在的万物互联,技巧在持续演进,然则紧张性从来不曾改变。本日盼望和大年夜家一路对这个经典的课题做一些新的思虑。

2017年以来,视频流量在全部互联网流量的占比不停处于高位。从2017年的75%, 到当前的约80%, 到2022年我们估计跨越82%的互联网流量将来自于视频或者包孕视频的利用。而全部互联网流量以匀称每年26%的速率增长。以2019年为例,每月约200ExaBytes的互联网流量里80% 也便是约160ExaBytes的互联网流量来自于视频。到了2022年,这个数字将会翻倍。这个伟大年夜的数字所代表的商业代价不言而喻。

作为举世最大年夜的互联网公司之一,腾讯为举世互联网流量有很大年夜供献。而腾讯旗下的很多营业都和视频这一媒体形式亲昵相关,例如:腾讯视频,微视,和我们熟知的微信,QQ等等。此中很多是经由过程视频云对外输出。当然在腾讯之外还有更多互联网公司天天孕育发生伟大年夜的视频内容流量。而所有这些视频内容都因此压缩的形式传播的。

视频压缩,即视频编解码,是数字期间视频利用的一个弗成缺少的环节。而视频编解码的效率,直接影响到一个产品或者一套办理规划的效率,资源,品德以致是成败。以是,在以前三十多年里,举世很多企业和钻研机构投入伟大年夜资本,研发了许多视频编解码技巧,并形成了几代视频编解码标准。此中主流的标准有: ISO/IEC和ITU 拟订的国际标准,像我们熟知的 MPEG-2, H.263, H.264/AVC, H.265/HEVC 和正在拟订中的VVC. 腾讯于2018年开始介入VVC标准拟订。迄今为止已经向标准组织提交跨越250个技巧提案,此中约70个技巧提案已被标准采用。腾讯,已经成为国际视频编解码标准拟订的主要供献者之一。

自H.264/AVC于2003年截稿宣布main profile以来,成功主导举世各个领域视频编解码市场。H.265/HEVC main (main10) profile于2013截稿宣布,其压缩机能比H.264/AVC前进约40%,然则因为对照繁杂和具有必然不确定性的专利收费政策,至今还不能像H.264/AVC一样主导举世市场。

与此同时(2015),Google,Mozilla, Cisco等公司提议创立了开源标准AOMedia,致力于扶植免费的(或者专利友好的)的视频编解码标准,于2018年宣布了第一代开源视频编解码标准AV1. 腾讯在玄月正式加入AOMdia,是第一家也是迄今为止独逐一家成为 AOMedia 董事会成员的中国公司。腾讯将和其他AOMedia成员公司一路拓展开原生态,推动AV1商业化,并扶植下一代开源视频编解码标准。

当然同时,我们也大年夜力投入国标AVS的扶植,推广,和利用落地。

在以前三十年里,视频编解码技巧赓续演进,从MPEG-2, 到H.264/AVC, 再到H.265/HEVC 和VVC; 开源侧从VP8到VP9, 再到AV1,我们可以看到视频编解码的架构变得加倍繁杂,承载的技巧加倍富厚,主要体现在几个方面,比如 编码,猜测和变换单元以及树布局的拓展,帧内猜测,帧间猜测,变换与反变换,环路滤波和熵编码。这些技巧的蜕变都使得压缩效率赓续提升,当然同时,谋略繁杂度也随之增添。

将几个主流视频编解码款式的压缩效率做个简单比较。测试结果来自于开源软件x264, x265, libvpx, libaom的最佳质量设置,在constant QP模式下对100多个不合分辨率不合场景的测试序列进行编码,取匀称值以包管结果的代表性。在一致压缩质量的环境下,应用几种编解码款式分手对应的bitrate, 基础上,VVC压缩机能最高,其次是AV1, HEVC和VP9效果相称, 然后是AVC, 这些款式都比经典的MPEG-2压缩机能有长足的前进。

上面我们对现在市场上几种主流视频编解码标准款式做了简单技巧回首和压缩机能比较。那么是不是所有人都在应用压缩效率最高的编解码款式呢?谜底是No. 这里有一份第三方查询造访申报,显示了当前市场上种种编解码器的支配环境。我们可以看到,H.264/AVC仍旧是主流,其次是H.265/HEVC。Legacy MPEG-2编解码器尚有必然应用率,然则在未来会徐徐被取代。同时,开源编解码器VP9和AV1的支配将会大年夜幅度增长。

不合的利用处景对视频编解码器的需求偏重有所不合。有些利用处景,比如长视频影视类点播,平日会要求高画面品德而对延迟不做过多要求。而别的一些场景比如直播和实时音视频通话等利用对延迟的要求就对照高。按照ITU G.114建议,对付好的通话质量,单向端到端延迟应不大年夜于150ms。假如时延在200~400ms, 通话的交互性对照差, 然则尚可吸收。时延大年夜于400ms, 则无法正常交互。而游戏对延迟的要求更是苛刻,平日要求端到端延迟小于60ms 以致更低。

而值得留意的是,上面说的数字都是端到真个延迟。而视频从采集到播放的全部链路里包孕端上处置惩罚延迟,端到办事器延迟,以及办事器之间传输,排队和办事处置惩罚等延迟。视频编解码延迟只是端上处置惩罚延迟的一部分。这就意味着,要达到低延迟利用和营业的要求,我们的视频编解码运行速率必要很快。

在质量,延迟和带宽或者资源之间探求一个最优平衡点是我们努力的偏向和目标。

我们都知道软件编码用具有机动的优点,可以达到更高的编码质量。然则它的一个毛病是速率慢,尤其是在压缩高分辨率内容的时刻。以是对付低延迟尤其是超低延迟的利用处景,我们多采纳硬件编码器。这里我们举一个云游戏的例子。云游戏因此云谋略为根基的游戏要领,在云游戏的运行模式下,所有游戏都在办事器端运行,并将衬着完毕后的游戏画面压缩后经由过程收集传送给用户。在客户端,用户的游戏设备不必要任何高端处置惩罚器和显卡,只必要视频解压缩能力就可以了。

在线游戏行业千亿市场,各行业巨子在云游戏偏向重兵投入。今年三月谷歌的云游戏平台Stadia正式登场,并计划于11月在举世多地上线。Microsoft正在积极筹办进行先期测试,Sony也在进一步加强云游戏办事能力。腾讯已投入结构START云游戏平台,并在今年4-5月间正式开启了Start内测预约。假如腾讯的云游戏办事能够成功的话,将会对海内游戏行业孕育发生极为深远的影响。

云游戏商业化面临的一个寻衅是它的高资源。这里我们有一个大年夜致的资源拆分。我们可以看到拆分之下,最大年夜一块成原先自于带宽 34%,其次是GPU 27%. 为了推动云游戏商业化,相关营业部门在2020年里盼望可以将资源低落一半。在之后的每一年还会有更多的成比例的资源下降。而在2020年里带宽资源计划下降67%, 这此中绝大年夜部分会来自于视频编码器的优化。

这里简单列举了一些我们已经和正在应用的视频编解码器优化策略,包括:启用更高效率编解码款式,对硬件编码器进行优化:针对不合游戏场景优化编码对象集应用,同时支持多款式软件硬件编码器并根据内容和分辨率进行切换,动态编码码率策略,ROI编码和收集自适应编码技巧,硬件解码衬着一体化,等。在以前的几个月里,我们针对nvidia, intel, amd, android, iOS 等硬件平台和编解码器分手做了优化,达到节省约30%带宽。尤其是硬件解码和衬着一体化,很大年夜程度低落懂得码端延迟和功耗。

我们正在进入5G期间。5G收集供给给我们超强的带宽,超低的延迟,使得更多的利用触手可及,也使得万物互联成为可能。在5G的影响下,媒体内容的临盆,获取和传播要领都在发生变更。无和记怡情娱乐苹果下载论是4K/8K,照样VR/AR/MR/点云,这些在以前由于受限于收集带宽的利用,在5G的推动下可能会迎来冲破。而5G的低延迟特点还将触及医疗和其他一些倚赖高速连接和互动的领域,例如远程手术和自动驾驶。

在超高清视频方面,带宽的占用随视频分辨率,bitdept和记怡情娱乐苹果下载h和帧率等指标的提升成倍增长。互联网流量数据显示,在2017年标清和高清视频内容大年夜约各占一半。在2019年也便是今朝标清内容占比下降到大年夜约1/3, 高清内容成为主流,超高清内容占比开始攀升。到2022年我们估计超高清内容占比会进一步提升到约总流量的1/4. 超高清视频内容的压缩,对付视频编解码器的质量和机能都有更高的要求。

互动沉浸式媒体是又一个被5G强推动的领域。根据中国财产信息网,中国VR内容市场自2016年以来持续以每年2-3倍的速率增长。利用财产链迅速扩展,尤其是在亚太地区成长更为迅猛。互动沉浸式媒体的利用领域异常广泛,渗透到例如文旅,教导,影视和泛娱乐,安然,零售等很多垂直行业。在今年玄月腾讯推出的一部手机游云南里就包孕了VR导览这一元素。

一个高质量高效率的互动VR系统包孕了从采集拼接,处置惩罚,压缩,传输,到解压缩,后处置惩罚,衬着和交互等端到端多个技巧模块。里面包孕的技巧有投影技巧,采集拼接技巧,FOV技巧,自适应传输技巧(包括Tile 切块,自适应码率,自适应分辨率,自适应主客不雅质量等)涉及的传输协议有HLS, DASH, WebRTC等。由于VR视频占用的带宽可能高达通俗高清视频带宽的几十倍,高效率的VR视频编解码器纵然在5G期间也仍旧是必须的。

在万物互联的5G期间,媒体的智能化已经成为弗成阻挡的趋势和成长偏向,人工智能技巧成为媒体交融紧张的技巧手段和对象。在不久前的十一庆典中,腾讯多媒体实验室联合腾讯视频和腾讯云推出的AI智能云剪辑,在最短光阴内将月饼盛典中杰出片段进行拆分和剪辑。腾讯多媒体实验室和腾讯云和记怡情娱乐苹果下载正在研发的智能场记办理规划,旨在运用深度进修技巧和记怡情娱乐苹果下载结合旌旗灯号处置惩罚理论,对视频内容进行高档语义理解,并已经在体育赛事等场景取得阶段性成果。

着末我想用半分钟光阴简单先容一下腾讯多媒体实验室。

作为腾讯云的一个紧张技巧输出方和亲密相助伙伴,腾讯多媒体实验室专注于多媒体和相关领域的前沿技巧探索、研发和产品落地,包孕音视频编解码、收集传输和实时通信,基于旌旗灯号处置惩罚和深度进修的多媒体内容阐发、理解、处置惩罚和质量评估,沉浸式媒体(VR、AR、点云等)系统设计和端到端办理规划;同时认真国际海里手业标准拟订,包孕多媒体数据压缩,收集传输协议,多媒系一切和开源平台等。

面向未来,我们将一如既往地以技巧为本,以客户需求为导向,和腾讯云一路打造更多更好的产品,办事于社会。

感谢大年夜家。

您可能还会对下面的文章感兴趣: