近年来直播行业风生水起，各大互联网巨头都纷纷推出自家直播产品进行市场份额争夺，导致移动直播也成为火热的垂直领域。不过由于直播产品的特性：高时长使用、网络高度依赖、资源不匹配差等，成为了制约用户体验的难题，虽然直播平台虽推出了一系列解决方案，但是效果并不明显，本质上仍需要直播平台、移动平台、算法平台等多方协作。
对于直播来说，用户体验显然是最重要的。例如不少用户都会遇到视频卡顿、帧数过低，甚至是画面大面积模糊这类情况，这当中除了网络环境会带来相关差异以外，直播所使用的移动终端对高清图像解码能力的差异也会带来巨大影响，也因此导致了上游IC芯片厂商强化了直播的用户体验。我们注意到近期发布的联发科Helio P90将时下最前沿的移动AI技术结合直播，独特的AI焦点直播确实给用户体验带来很大的提升。
聚焦面部特征展现，AI焦点直播大幅提升用户体验
首先我们来解释下AI焦点直播的意思，实际上这是联发科Helio P90芯片上的一项全新AI应用。简单来说，就是当用户使用搭载联发科Helio P90平台的智能设备进行直播时，直播平台会启用P90的AI编码框架，配合APU 2.0的算力, 找出直播过程中被认定为重点的区块进行高码率编码，而不重要的区块则减低码率。
联发科Helio P90平台(左)展示的焦点直播特性，有效优化面部特征。(图/网络)
如此一来，可以让有限的网络频宽保留给重要的物件，例如人脸、玩偶等焦点，实现在正常光线下对直播主的美颜美肌、暗光环境下优化直播主核心的面部特征的技术特征，让直播主这个“实时焦点”显得更加突出。很有意思的是，联发科这项技术在发布之后就受到了大量直播用户的关注。
其实在联发科P90的AI焦点直播推出前，就已经有不少的第三方直播美颜软件，但这些软件更多意义是让整个直播画面变的明亮，或者是简单的提升直播主的肤色等，不仅存在画面失真的情况，而且能使用的平台单一，无法跨直播平台使用。换句话说，直播美颜更多是直播平台自家的后台算法针对人脸侦测，既无法实时实现画面焦点的优化，也无法做到非人脸的局部焦点编码，体验相当的局限。
传统的直播基本上只是针对画面做微幅处理，算法比较简单。(图/网络)
联发科P90的AI焦点直播显然就是针对这一体验做出的特殊优化，它与普通直播美颜软件最大的区别就是调动了底层硬件，并配合AI边缘计算、特殊编码来实现三方协作，得益于每秒高达11270亿次的定点乘累加能力，可以通过人脸侦测引擎使(AI+ISP)来进行高强度的运算，这个过程中可以熟记和锁定画面焦点的细节特征，在弱光和运动条件下实时准确地检测人脸和场景。值得一提的是，目前除了联发科P90外，还没有其他的SoC具有这种功能。
既然联发科P90具备AI焦点直播功能，具体能带来怎样的效果?简单来说通过AI焦点直播不只做到传统的美颜美肌美白瘦脸，还不只做到传统的美颜美肌美白瘦脸，还可以让直播主的面部更清晰，有效降低人物面部MPEG编码所造成的马赛克效应，目前用户通过联发科Helio P70、P90的手机都可以享受到AI焦点直播的魅力，下一步虎牙直播、斗鱼直播、YY直播、抖音等都有希望会接入到联发科P90的解决方案中，甚至未来微信视频、QQ视频，乃至厂商自家开发的在线视频串流功能都同样可以实现AI焦点直播的效果。
AI焦点直播的背后，强大的APU 2.0提供算力支持
很多用户持疑，其他芯片不能实现AI焦点直播功能吗?其实AI焦点直播的背后是强大的AI算力需求，传统的CPU运算能力和GPU图形编码能力不足以支撑这种新型的视频直播方案。
传统移动终端负责视频解码的硬件主要由CPU+GPU+DSP这三大部分来完成，其中DSP负责的称之为硬解码，而CPU则作为辅助软解码运算。但是他们的缺点都十分明显，DSP作为硬解码方案，算法已经完全固定下来(部分可以通过固件更新)，所以只能解码它所支持的，如果对编码处理不同有可能就无法解码成功，进而导致直播过程中产生花屏卡顿甚至绿屏的情况出现。 而CPU软解码对于算法的扩展能力虽然比DSP强，但是其本本身就是耗电大户，随着直播清晰度的提升，做高强度的软解将大量的消耗终就不宽裕的电力资源，这对于移动终端来说是致命的缺陷。
目前联发科技P90的焦点直播技术则是基于APU 2.0模块提供的强劲AI算力(根据跑分显示，P90的AI算力已经超越高通855)，通过摄像头捕捉到的人物头面部画面，APU将该区域在系统内做特殊标注，分析影片中的纹理、边缘锯齿、颜色等信息，主动定义可能含有面部特征的ROI区域(Region Of Interest, 感兴趣区域)，针对这些区域每秒可实现上亿次运算，最终能带来精准的焦点锁定与优化，实现码率与视频压缩质量的提升。
借助于AI算力，联发科P90对噪点的控制会比传统的CPU和DSP方案有更好的效果。而更重要的一点在于AI引擎的运作大大降低了CPU和DSP运作的强度，对于电力敏感的移动终端来说，极大的提升的续航能力，进一步提升直播中的用户体验。
整体来看，联发科P90的AI焦点直播确实是切中了直播业平台和用户的痛点。在全民直播的时代，高清画质输出意味着平台方需要不断加大带宽成本的投入，对于不少中小型平台来说是相当难以承受的开支，而Helio P90将原先只能在B端(平台方)寻求解决方案的问题，转而通过C端(用户方)设备进行强力的辅助和优化，对于促进直播产业的发展和效率提升也有着相当大的帮助作用。
据悉搭载联发科P90的智能手机将在2019年第一季度上市，届时将刷新智能手机在直播上的体验。得益于几代产品在AI上的铺垫，联发科已经把智能的触角应用到分类管理、物体识别、拍照相机、语音文字识别和SR高清分辨率领域，并串联起包括智能手机、智能电视、物联网设备等在内的终端产品，不仅提高了用户体检，也定义了新高端的品牌定位，更提高了品牌价值，走出了不一样的AI之路。
|
