2017年11月4日,腾讯LIVE开发者大会在腾讯大厦二楼多功能厅完美落幕啦!腾讯LIVE开发者大会(TLC)是由NOW直播技术团队联合IVWEB团队共同发起的关于音视频/直播领域技术分享的开发者大会。大会现场参会者超过200人(因为场地限制,还有更多想参与的开发者一票难求),还有从北京、上海、大连、香港等地的开发者远道而来参加会议。
本次大会宣传覆盖20+媒体及技术平台,覆盖社区人员10W+人,转化大会官网访问1.5w+,成功线下报名人数超过200人。
大会讲师除了来自国内直播/视频领域的知名企业如七牛云、映客、声网、OnVideo、美拍,还有来自腾讯内部明星直播/音视频产品(NOW直播、全民K歌、QQ空间直播、音视频实验室、优图实验室、视频云、V+直播)的*开发者,总计探讨了16个议题,涵盖了音视频/直播领域的前沿主流技术、架构优化、性能、安全等各个细分领域。
会议结束后调查显示,综合满意度极高。这是NOW直播技术团队以及IVWEB团队第一次举办这么高规格的会议,也是腾讯第一次举办如此高规格的音视频/直播技术会议,希望我们在脚踏实地推进业务的同时,继续推动行业技术的发展!【PPT & 回放 请移步官网关注最新进展】
主会场
首先是NOW直播总监王麒带来生动的开幕致辞,王麒(王导)对当前直播行业的产品和技术现状做了一个全面的概括,并介绍了NOW直播团队正在研究的一些前沿技术,以及对大会的豪华讲师阵容做了简单的介绍,迅速调动起了现场观众的热情。
接下来IVWEB团队负责人刘恒兵(河伯)简单介绍了本次大会的背景及内容安排,介绍了IVWEB团队在直播方面做的技术研究和探索,包括MSE,WEBVR,PWA等等。
上午的第一场技术分享是IVWEB团队小鲜肉田淮仁(Jimmy)的《HTML5时代下RTMP等直播秒开实践》。Jimmy从技术标准、协议上对HTML5直播技术做了一个全面的介绍,并且分享了他在音视频播放格式转换、编码解码方面的尝试,为观众展示了一个精彩的无FLASH直播技术方案。
第二场直播分享嘉宾是OnVideo的联合创始人刘岐,他同时是FFmpeg的顾问,他分享的题目是《FFmpeg滤镜开发-人脸识别》。刘岐从技术选择、集成操作、后续思考、操作总结等方面对视频图像识别做了深入的探讨,演讲风格幽默风趣,把深奥的技术生动地呈现给观众。
第三场分享题目是《映客直播技术实践》,分享嘉宾是来自映客直播的高级架构师王振涛。振涛把映客直播从最初的几台服务器,支撑10万左右用户,到业务爆发用户量暴增阶段面临的技术挑战和技术架构演变过程详细地展现给观众,对于做直播技术的同行,肯定从中体会到很多同样的感受和启发。
上午的最后一个分享来自腾讯视频云P2P项目组负责人、腾讯云P2P平台总监关俊辉,他的题目是《低延迟直播P2P》。作为在直播行业从业近十年的老将,俊辉在降低视频延迟方面是绝对的专家,他详细地阐述了腾讯云P2P平台在降低延迟方面的技术架构和原理,并介绍了相关的对接流程。
直播技术架构分会场
TLC的直播技术架构分会场于当天下午在腾讯大厦 2411 举行。在该分会场内,有 4 位业内顶尖的讲师从整体架构的角度来讲解现代技术在直播行业中的落地和实践。
这里针对讲师主题的不同,做了如下的大会实录。
罗静-全民K歌直播后台架构与优化
罗静老师主要讲解了,他在全民 K 歌从无到有整个后台的技术变迁和相关技术的优化。
罗静老师是全民k歌后台技术负责人,2014 年加入腾讯,现在已经是全民 K 歌后台组的 leader。下图是罗老师的真容:
罗老师首先介绍了一下全民 K 歌的主要应用场景、用户规模、行业地位。其中最让人印象深刻的是罗老师抛出的一个问题:
全民 K 歌主要用户群体是哪类人呢?
大部分同学猜的结果,要么是年轻小妹妹,要么是歌唱能手。这些都太常规的,而罗老师给出的答案是:
现在的中老年人,特别是现在 90 后妈妈/爸爸,这类用户群体。你给一个耳机,他们可以玩一天。
后面,罗老师又专门针对全民 K 歌在直播服务中的应用技术大致梳理了一遍。因为,K 歌主要的用户群体是歌手,所以,其直播模式就是以唱歌为主,依靠观众的打赏完成的。
同时,介绍了全民 K 歌的后台架构,存储选择、统计、监控、安全等,以及,相关的主要挑战:
1、观众列表以及在线人数的统计
2、直播消息的延时监控和优化
3、带宽成本优化
4、服务容灾和故障处理
5、直播安全保障
上面就是我们罗老师演讲的主要内容。后面是腾讯 Qzone 帅气的后台高级工程师-梁玉龙的演讲内容。
梁玉龙-qzone直播后台架构与优化
梁玉龙老师不仅技术夯实,而且颜值也是非常高的,无图无真相:
本人也是 1.75 的个子,非常阳光帅气。英文名是 tracyliang,梁老师是 2013 年加入腾讯,负责空间的 feeds-pc 和终端后台架构优化以及有损柔性服务。最近一年负责直播业务后台的基础建设及优化。
主要的讲解了 QQ 空间对于搭建直播架构的整体优。首先,介绍了 QQ 空间直播业务内容,比如一些基本的空间直播赛事,趣闻等等。其中,重点讲授了在高 UV 的情况下,空间是如何做到房间的保持和稳定的。
因为,直播是非常耗费性能而且极其容易发生事故的,tracy 针对空间发生的相关问题和故障,总结性的罗列了相关的优化点:
- 卡顿优化
- CPU优化
- 秒进优化
- 回放体验优化
最后,tracy 从成本控制方面给出了空间团队在这方面的实践和优化。
黄泽芳-NOW直播后台架构演进
黄泽芳老师的名字容易让人误以为是一位年轻的小姐姐,这里首先阐明一点,他是男的,而且是为纯爷们。不过,已经有女朋友了,大家这点就不用多想了。下图是黄老师画像:
黄老师又叫做 tinshuang,是 2012 加入腾讯这个大家庭的,现在是腾讯后台高级工程师,先后参与Q+开放平台、QQ服务号平台、腾讯课堂、花样直播、NOW直播等多个项目的架构设计和开发,从无到有参与搭建了NOW直播项目技术体系。
tins 演讲气场还是很足的,内容非常引人入胜。
首先,主要讲解了 NOW 直播后台架构的优化和调整。其中主要聚焦在:
是 推倒 还是 优化?
tins 说了他自己的想法,如果推倒,那么这无异于是重复的造*非常耗费人力,而且一个项目太大了,是否真的有必要推倒重来呢?不过,如果有革命性的框架出现,能够让后台开发效率上升很多个数量级,那么这个推倒就是有必要的,而且是非常必须的。
如果优化的话,那么谁来负责优化,优化的点有哪些。这样做能够很好的节省人力成本,让整个项目能很好的运行。不过,优化的过分了,有时候真的会适得其反。这也是需要额外权衡的事。
后面一个主题则是很先进而且值得投入的一个内容-移动直播浪潮下的内容审核。
胡易-移动直播浪潮下的内容审核
胡易老师是,2016年硕士毕业于北京邮电大学,毕业后加入腾讯优图任图像算法工程师,主要负责利用图像识别技术进行图片内容审核的工作,研发了DeepEye主动内容识别系统,负责自动审核公司内部业务和外部客户的违规图片,包括色情,暴力恐怖等,积累了丰富的经验。DeepEye系统也已经广泛用于腾讯内部的各项业务,并吸引了包括斗鱼,龙珠,大智慧等在内的多家客户接入使用,极大的节省了审核人力。
胡易老师的英文名叫做 ferdinandhu(有点长哈)。没事,我们这里就叫做胡老师。胡老师本人非常清秀:
胡老师研究的目的是让鉴黄师这个职位永远的消失,通过 AI 和 图像处理技术的结合,让机器能够自主的识别出黄、暴、毒的照片,并能够及时的上报处理。
胡老师主要讲解了
- 移动直播繁荣背后带来的问题:有害内容随之增多。
- 传统的解决方案
- 图像识别技术的发展
- 如何利用图像识别技术解决有害内容过滤
- 优图都做了哪些工作
- 优图的图像识别技术产生了哪些价值
这里需要额外提及一下 优图实验室。该实验室是腾讯一个让人瞩目的工作室,里面都在研究一下当下比较前沿技术。优图实验室立足于社交网络大平台,借助社交业务积累的海量人脸、图片、音乐等数据,专注在人脸、图像、音乐、语音、机器学习等领域开展技术研究,并积极推动研究成果在业务中落地产生价值。
这个是他们近两年的工作成果:
到这里,直播技术架构分会场老师们所有的主题和内容就介绍完了。
音视频技术分会场
TLC的音视频技术分会场在腾讯大厦2412举行,音视频技术是直播技术的基础,同时音视频又是一个非常难以掌握的领域,因此本会场的与会人员还是相当之多的。
首先分享的是来自腾讯的高级工程师涂远东,他分享的题目是VR视频直播探索与创新。
远东老师在流媒体领域10年以上工作经验,专注于音视频编解码、流媒体传输技术。加入腾讯以来,参与过QT娱乐直播系统的搭建运营以及优化,目前负责英雄联盟电视台赛事直播、游戏VR赛事直播产品化探索与研究。因此直播、VR经验还是相当之丰富的。
远东老师首先为我们展示了他们现在的业务成果,V+直播App。该直播平台的主打功能是VR直播,用户可以在App中“进入”游戏的世界,从第一视角观看游戏直播,仿佛真的进入了王者峡谷、召唤师峡谷;还可以和小伙伴一起进行VR直播观看,仿佛进入了一个LPL、KPL的现场一样。
之后老师针对现在VR直播存在的几个问题和其相关解决方案一一作了介绍。
对于传输码率过大的问题,介绍了FOV模型的多种实现方式,分别分析了facebook、google、pixvana的FOV模型。
对于视频延迟问题,介绍了FOV的传输架构。
最后展望了后续VR的研究方向,包括后期的游戏技术分析、现场声音和直播声音实时叠加、VR带宽进一步优化等等。
第二场分享的是来自声网的高泽华老师,他的主题是面向不可靠网络的全新抗丢包编解码器框架。
高泽华老师是声网的抗丢包技术专家 。具有11年音乐语音编解码学习经验。理解几十种音频编解码标准。在互联网应用和专利分析方面有多年研发经验和积累。
泽华老师首先抛出一个问题:在我们这个带宽越来越大,网络覆盖范围越来越广的年代,还需要可靠的音频编码技术嘛?而从他的实践来看,我们不仅仅需要,也很迫切地需要一种新的更高效的音频编解码技术。
之后他介绍了我们目前面对的现状问题:通信网络不稳定,网络信道复杂,丢包在时时刻刻发生并且可能发生在任何一个节点。
而面对丢包,主要有以下解决方案:
- FEC
- PLC
- ARC
- ARQ
并以FEC为基础,对抗丢包方案的评估进行了介绍。由此我们可以知道,信源是想方设法地减少冗余来降低传输载荷,而信道是想方设法地增加冗余来提高传输的稳定性。
而声网的Agora SOLO方案则是结合了信源编码和信道编码的特性,充分利用包交换网络的信道特性从而创造出来的一种全新编解码框架。
这几乎是一种完美的抗丢包方案——延时低、质量高、面向多人环境、策略简单。
其高效也可以通过数据看出来:
从高泽华老师的分享可以看出来,他是一个对于技术有着无与伦比的热情的工程师,并且十年如一日地在音频编解码上钻研,积累了深厚的功底。不仅仅是技术上是大牛,在人格上也值得我们学习。有兴趣的可以通过老师的博客与其交流:http://www.cnblogs.com/gaozehua/
第三场分享来自于七牛云直播客户端团队的技术负责人卢俊,主题为卢俊移动直播的关键技术优化。
卢俊老师拥有丰富的音视频领域的开发和实战经验,先后开发过 Android 播放 SDK、推流 SDK,短视频 SDK,并主导了七牛连麦系统的设计和实现。服务过上百家直播客户,包括熊猫、全民、龙珠、汽车之家、懂球帝等。
他首先介绍了直播的几大痛点:
- 首开慢
- 卡顿率高
- 延时大
- 马赛克多
- 设备功耗大
- 故障不易排查
之后分别针对这些痛点介绍了他们在实践中的解决方案。
例如针对延时大,逐一分析延时可能来自于哪里,最后确定延时主要来源于缓冲区的设置,因而可以通过减少GOP的大小来降低延迟。
又例如针对故障排查,通过RTMP的meta字段上传流的设备编号、网络信息、编码信息等等,并绘制实时数据,报障时可以通过图表数据快速定位问题来源,进而加快响应。
之后又分别对直播时的连麦方案、直播合流两个高级功能进行了技术分析。
作为云服务商,七牛直播面临的挑战要远大于一般的业务。因此他们的技术功底和技术能力也是十分值得肯定的。大家也可以通过老师的博客与他进行交流切磋:http://jhuster.com/
最后一场分享来自于Now直播音视频负责人袁树健,主题为NOW直播音视频技术架构与实践。
袁树健老师先后参与Q+开放平台、腾讯课堂、花样直播、NOW直播等多个项目的架构设计和开发,从无到有参与搭建了NOW直播音视频底层核心能力体系,在音视频直播项目上比较丰富的经验。
树健老师主要介绍了Now直播在发展中用到的相关技术,包括:
- 直播编码技术方案
- 直播秒开技术方案
- 直播美颜技术方案
- 终端-录播系统
在以上技术方案的基础上,Now直播还通过改造技术架构,从而支持了第三方组件的无缝接入,例如全景直播、3D音效、绿幕直播、Qlipie直播。
综合技术分会场
TLC的综合技术会场在腾讯大厦411举行,相较于其他两个会场的演讲主题专注于直播和音视频方向,综合技术会场的讲师们从终端、Web、后台以及整体的架构演进等多个角度切入,去向大家介绍他们在音视频和直播领域的实战经验!
梅江霞-全民K歌歌房技术挑战和架构实践
综合技术分会场第一位带来分享的讲师是来自全民K歌团队的梅江霞老师,梅老师首先介绍了全民K歌这款腾讯明星APP的整体架构和音视频处理流程。接着阐述了客户端是如何利用完善的过滤机制和状态机来规避服务端推送的各种异常状态。
最令人印象深刻的是,梅老师非常细致的解释了全民K歌在实时在线人声合唱与伴奏/歌词同步上遇到的问题,最后得出结论:同步延迟不能低于50ms,才能保证一个良好的用户体验。(小编:哥听得时候感觉是mission impossible啊!)
接着梅老师深入浅出的向观众们介绍他们团队是如何做到将延迟控制在了20ms左右!
最后梅老师向大家介绍了如何通过改进客户端的整体框架来提升网络抗性和对应业务需求变更的灵活性。
刘楠-QQ空间直播优化之路
接下来分享的是QQ空间iOS组的leader-刘楠。他首先从产品发展的角度向大家介绍空间直播所遇到的技术挑战:
- 多平台
- 多场景
- 主播带宽低
- 低端机型多
然后从架构层面介绍了他们如何在四端(安卓/iOS/手空独立版/手Q结合版)代码复用,以及精简iOS端的代码体积。
接着刘楠从编码策略、流控策略、参数优化三个方面介绍了他们在体验优化上所做的工作。
最后刘楠从一个现网性能问题入手,向大家介绍了他们的性能和质量监控体系,告诉大家如何利用监控体系持续提升用户体验和产品质量。
崔进-另辟蹊径,H5在空间直播的应用
第三位分享的讲师是同样来自QQ空间直播团队的崔进老师。作为一个Web前端工程师,崔进老师告诉我们即使在极重体验的直播软件中,H5技术同样大有可为!
崔进老师首先比较了native和H5能力的优劣势,然后从jsbrige接口定制和版本差异处理两个角度介绍了QQ空间直播的hybird方案。
接着介绍了他们的CPU消耗优化方案,高频动画在权衡效率和性能后采用native和H5结合的方式实现,高频网络IO利用H5侧web worker的能力来实现。
最后介绍了空间直播的js组件按优先级加载方案。
使用这套技术方案的QQ空间直播,在体验上小编我是完全看不出哪些功能用的native实现,哪些用的是H5实现。
章敏鹏-美拍直播架构演进及体验优化
本次综合技术会场压轴的讲师是来自美拍直播的架构师章敏鹏,他给观众们带来了美拍直播在直播架构演技和体验优化上的宝贵经验!
章老师首先介绍了常见的直播流媒体架构和美拍的直播架构,重点讲述了美拍的failover机制,这也是工业级服务端架构必备的特性。
然后章老师向我们分享了美拍在自建CDN源站过程中遇到的挑战以及他们的解决方案。
最后章老师介绍了来自美拍的直播优化关键指标,并告诉大家,如何根据这些关键指标的监控情况做针对性的直播体验优化。
大会尾声
下午全部分会场分享结束后,我们全体观众还回到主会场参加了一个最佳讲师评选环节,其中,来自映客直播的王振涛被评为最佳讲师。另外,结尾还有一个抽奖环节,到场来宾很多都抽到了腾讯企鹅公仔、水晶摆设、职能摄像头等奖品,好不欢乐。
会后观众 好评如潮,纷纷感慨干货满满,全程无广告!
最后,感谢 NOW直播IVWEB团队所有辛苦工作的小伙伴们,期望来年我们还可以在一起,再做一个更完美更好玩的技术嘉年华:)