今年的6到7月，是北京白领傅炜的“狂欢季”，用他的话说，身为法国队的铁杆球迷和“重度足球爱好症患者”，他的世界杯“杯龄”已有20年。“今年这届世界杯很多比赛的时间都比较晚，我媳妇孩子又睡得早，基本上到了比赛时间，我都是拿着iPad和哥们儿到我们小区花园里找个宽敞地儿，摆上桌椅和啤酒小菜，边喝边看，就连15号晚上的决赛也是这么看的，效果我觉得比从电视上看还要好”。
在国内，对包括傅炜在内的数量庞大的球迷来说，2018年俄罗斯世界杯改变了他们的观看方式。不同于此前历届世界杯对电视机的不离不弃，由手机、平板这些终端承载的CNTV移动直播，以便携性、互动性、高清流畅的画质征服了万千球迷，成为了大多数人的唯一收看选择。他们不会想到，当人们通过移动直播观看扣人心弦的比赛时，一场场与不良用户体验较量的“比赛”，也在悄悄地同时进行着......
2018俄罗斯世界杯法国队的最终夺冠，让国内通过网络直播观看决赛的球迷们欣喜不已(图片来源：FIFA World Cup/Twitter)
备战
7月16日早上五点，金山云世界杯直播保障团队负责人左岸走出位于北京市西三环旁边的CNTV总部“望海楼”，他边走边想，像自己每周几天都能看到凌晨四点的北京的人不多吧?由于连续奋战在直播保障的第一线，令他身心俱疲，但此刻却毫无睡意，一种为客户保障成功的巨大兴奋感始终围绕着他，头都有些晕。左岸定定神，点着一根烟，这一个月以来的“战斗”经历，便又浮现在眼前。
左岸所在的公司，此前为包括2018年央视春晚在内的多项重大事件直播提供过技术保障。尽管已经“身经百战”，深得客户信任，“但是刚接到CNTV的世界杯直播这个需求的时候，说实话还是有点紧张”，曾担任过今年央视春晚金山云直播保障团队总负责人的左岸，对于他的新身份——CNTV世界杯直播保障团队总负责人，一开始有些迟疑。
这是因为，世界杯直播的保障压力比春晚大得多。首先，世界杯的多端直播覆盖搭载iOS、安卓系统的手机和平板等不同的移动终端，这在世界杯的直播历史上还是第一次，上届世界杯还没有这样的直播，对于各方来说都是第一次;第二，世界杯不同于此前的任何一次重大直播，它包含在一个月之内的多场重点直播，属于时间较长的保障，再加上比赛时间的时差和数量庞大的观众，“需要协调的东西非常多”。
巨大的压力下，左岸的动力反倒充足起来。他迅速调整心态，将此次看作是一次难得的锻炼和提升团队的机会，“任务越艰巨越好”。他比喻说，为CNTV这样的大客户做直播保障，竞争非常激烈，这和世界杯的赛程分为小组赛和淘汰赛一样。客户的要求很高，如果达不到，就会被淘汰掉。不想被淘汰的话，就要“苦练内功”，扎扎实实地做好服务，“我想借这次给世界杯直播做保障的机会，证明我们团队的实力”。
为了确保此次直播保障的顺利进行，在左岸的带领下，金山云在5月初迅速成立了项目组，一个月之后成立了世界杯直播保障指挥中心(以下简称“指挥中心”)，团队有数十人，人员分两部分，一部分负责基础保障，包括运维和调优，一部分负责研发。
为便于大家查看，金山云世界杯直播保障指挥中心悬挂着详细的赛程表
阿韫是这次保障中直播CDN服务的负责人。在他的安排下，CDN节点功能和调度分成“一主一备”，两个“主”负责CDN节点业务和调度，“就像一场球赛里，有主力球员和替补球员一样，我们的‘主备’的安排也遵循了这个规则”，阿韫笑着说。按照分工，在直播期间，左岸和负责运维的同事会紧盯质量指标数据和全网平均码率指标，如果指标数据不正常，例如卡顿率高出了正常的范围，阿韫就要带领着自己的团队排查原因、解决问题。
在保障计划的制定上，金山云准备得十分充分。整体预案涉及到方方面面，前期左岸和同事们用了两周的时间来做预案文件，“做得非常详细”，左岸介绍说，其实金山云在历次承接重大直播的保障服务前，都会做相应的重保方案，但这次是世界杯，金山云也是第一次接规模这么大的直播，所以预案要做得比以往更严谨更具体。整体的系统、所有的资源压力，包括技术上的压力都需要指挥中心事先进行评估。评估后，左岸带领团队要做重保的演练，要去模拟所有直播中可能会出现的情况和故障，看团队的响应和处理能力如何，而且，在世界杯正式开始前，这样的演练需要反复进行。
金山云世界杯直播保障指挥中心有着浓厚的比赛氛围
按照计划，左岸带着部分同事在客户CNTV那里“驻扎”，其他人在金山云的指挥中心。左岸和同事们建立了轮班制，每天团队中都要有一些人，固定安排在客户那边驻场服务，便于现场排查、解决问题，指挥中心所有的值班都要跟着比赛日期走，所有参与到直播保障工作的人都要保持通信畅通，同时，指挥中心建了多个线上的工作沟通群，如果有问题现场解决不了，随时在各个群里反馈沟通，确保直播保障服务的顺利进行，“可以说，只要是想得到的，我们都做了准备”。
随着世界杯开幕日期的一天天临近，左岸和同事们摩拳擦掌，信心十足又有些忐忑地准备迎接这场“大考”。
绝杀
北京时间6月14日晚间，俄罗斯世界杯正式拉开大幕。与小组赛即将登上赛场上的那些教练和球员一样，指挥中心也是一片忙碌。团队中的每个人都紧张地盯着自己面前的屏幕，还有正在播放的球赛直播。与预想的一样，央视方面发来的指标数据均正常，这让大家都稍稍松了口气。“刚开始其实还好，流量峰值没那么高，这在我们的意料之内，我们真正担心的是那些周末和晚上8点时的比赛”，左岸说。
随着世界杯小组赛的推进和比赛的密集进行，真正的考验来了。在指标的保障、资源的调度、切换的机制等方面，尽管此前做了充分的准备，但在直播中还是不可避免地出现了两、三次如卡顿率等指标超出正常范围的情况。原因在于，某场比赛观看的人数太多，导致新建的CDN节点性能受到影响，卡顿率就会上升;另外，由于时差因素，一些比赛在国内的周末黄金时间进行，短时间内流量峰值极高，一些CDN节点就会出现“跑满”的问题。
从发现问题开始，左岸一边不断查看指标数据，一边通过线上工作群，不断与团队里的各位负责人沟通，商量解决方案。指挥中心内，焦急挂在了每个人的脸上，如果去远一点的地方，都是以跑代走，相互的配合直接高效，不说废话，间或伴随着思路上的争执。一旁的桌子上，公司行政部门送来的夜宵也早已变凉，没有人顾得上吃。
“直播中出现问题，我们比客户还要着急，团队的兄弟们，都一门心思想着怎么才能快速解决”，阿韫说，如果卡顿率指标高出正常值，或者是节点压力大，那么就意味着有一部分用户的观看体验受到了影响，“做世界杯的直播保障是要熬夜的，我们都是比如说晚上九、十点盯一场，然后连着凌晨两点再盯一场，盯一宿下来当然很累，也有第二天不用继续上班的规定，“但我发现，很多人经常是第二天白天的时候并不回去休息，还在指挥部里和别人讨论和分享经验，心思我最清楚，大家都希望能带给观众最好的观赛体验。如果我们是一支球队，我们正在淘汰故障，不断晋级”。
世界杯直播保障如同艰苦的比赛(图片来源：网络)
由于事先准备充分，小组赛期间出现的各种问题，都在指挥中心的掌控范围内。例如不同用户所在的网络环境不同，观看直播极易卡顿。金山云应客户要求，提供码率自适应功能，能够实现自动码率的转换，可根据用户所处环境中网速的快慢，提供相应的画质。
即便如此，左岸和大家仍然坚持在每天的比赛结束后进行“复盘”——对出现的现象进行讨论和研究，制定如何避免的方案。如果是小问题，要具体规定在多长时间内解决，精准到分钟。如果是系统性的问题，要根据指标数据，制定全新的方案，一天之内就要推出来并实行。
整体情况：7月2日带宽情况，峰值时间点：7月2日23:40(巴西-墨西哥)，峰值带宽T级别量级;待解决问题：源站数据延迟问题、个别节点资源利用率问题......这是指挥中心一封内部邮件内容。包括直播当天的整体情况、问题故障、需求如何处理、工作优先级安排、已完成任务等等，“针对每天的直播保障情况，我们团队都会制作相关的邮件并群发出来，这样更有条理，更有计划性”，左岸在分享他的直播保障经验时这样说道。
晋级
经过群策群力，渐渐地，大家感觉到直播的压力没有那么大了。“最难的时候已经过来了，对于这些故障的原因，大家也都很清楚了”，直播保障团队的小琦说，因为处理得当，又有“黑科技”在手，越往后的比赛，大家保障起来就越顺利，到四分之一决赛、半决赛和决赛的时候，大家虽然也有压力，但不像刚开始时那样紧张了，“直播保障任务一变轻松，兄弟们还有点不太习惯呢”。
在此次世界杯期间，金山云为了直播的顺畅，采用了不少优势技术和方案。据阿韫介绍，例如每场比赛都会用的智能调度，这种技术可以自动计算节点是否已满，快满了的话把流量调均匀，最大程度实现最优节点覆盖，帮助客户解决不同类型业务的加速调优，从而保证播放流畅。又如针对直播的负载均衡机制，避免某台设备过热出现故障。再如源站采用北京上海异地多活架构，金山云支持源站故障秒切，保证直播的流畅。“我们有了世界杯小组赛直播的经验，加上有这些‘黑科技’的加持，为决赛、半决赛提供保障就不在话下了”。
和团队里的很多人一样，小琦也是球迷，他说这次是他观看世界杯的历史上最特殊的一次，“我们做保障的时候，球当然也能看，但心态与平常看球不一样，我们是监控着看，时刻注意视频和声音，时刻绷紧神经，担心有问题出现，关心比赛直播的视频流畅度远远胜过比赛的结果。其实大家都一样，每次都是直到比赛结束，明显感觉到大家才放松下来”。
和法国队夺冠一样，金山云的直播保障团队也经历了不断“晋级”，最终成功完成任务的过程(图片来源：网络)
“这次世界杯直播保障，我们团队的收获挺大的，和法国队夺冠一样，我们也经历了不断‘晋级’，最终成功完成保障任务的过程”，阿韫认为，首先很好地锻炼了团队，提高了大家的凝聚力。对于重大事件系统压力和整体资源上的评估也得到了很大的提升，重点直播保障应该怎么做，通过这次又明晰了很多，积累了更多的经验，也是为以后更好地为客户提供直播保障服务打下了基础。
7月16日早上五点半，左岸掐灭手中的烟，打算马上回到公司，拍拍兄弟们的肩膀，向一个月以来与自己日夜并肩作战的同事们说一声“辛苦了”，再请大家吃顿大餐。而在北京的另一边，傅炜由于法国队最终夺冠，兴奋得一夜未眠，“这是我看的最爽的一届世界杯!特别是这次的视频直播特给力，不像我用别的APP看那么卡，画面也不清楚，CNTV的这个直播效果，也不知道幕后这些人是怎么实现的，他们想必也经历了很多次‘比赛’吧”。
|
