AI智能化应用已经被列为国家级科研项目,围绕AI的实践将成为下阶段的发展重心。目前在智能手机市场,AI也从早期的趣味好玩走到实际应用,基于AI不仅实现了例如智能美颜、内容分类、数据提取等功能,而且还进一步深入到硬件加速区域,开启了AI专核分离式辅助运算的潮流。
谈到AI在智能手机上的应用,不得不提到联发科Helio P90提出的AI相机概念,例如美颜美体、瘦脸瘦身、自动后期塑形处理等,随着一些芯片对AI功能的软硬整合,AI应用开发者将继续拓宽人类体验的想象,近日联发科Helio P90的 AI相机就为消费者带来一些创新性体验。
AI人像分割技术带来创新性拍摄体验
联发科此前在手机拍照上就已经有了不错的表现,例如Helio P60就引入了“超级相机”的概念,带来了硬件实时虚化和RAW HDR功能,再加上环境识别、人脸自动侦测等特性,搭载该芯片的OPPO R15、vivo X21i就受到了市场高度追捧,而联发科P90再次优化了AI相机特性,其中创新的AI人像分割带来的视频功能再次让不少消费者关注。
关于AI人像分割简单介绍下,它基于AI技术将图片或是影片中的人像和背景进行分离,系统自动将二者标注,并分成不同的区域,进而对不同区域进行处理。只不过传统的人像分割技术往往是单纯的软件层面,由于算力有限,往往只能对人像或背景做到微层级的处理,在较为复杂的环境下很出现容易边缘错误、分割失真的情况,因此必须软、硬件在加上算法三方平台才能实现更为复杂的人像分割。
目前联发科P90采用的AI人像分割技术则是主流的物件主动侦测和分割架构,利用最先进的目标检测算法Mask R-CNN,并基于神经网络学习框架Caffe2来实现,它开源有效的侦测对象、预测外型、建立分割遮罩,然后修正候选选区的坐标位置和相邻的区域, 最后才产生人体的最终候选坐标位置。这个过程中将需要极大的算力,通常来说一般的智能手机很难实现,而联发科P90凭借APU2.0高达1127 GMACs (每秒可操作11270亿次定点乘累加次数)的强大算力,将人像分隔技术往前推进了一步,成为为数不多可以在视频执行该特性的AI芯片平台。
此次联发科Helio P90的AI算力也使业界震惊,毕竟从制成工艺来说几个主要竞争对手都优于联发科P90,但距苏黎世理工学院AI benchmark测评结果看到联发科P90以25645大幅度领先7纳米制程的竞争对手,不得不承认联发科早期发展AI专核策略,为AI时代的到来早已做好了准备,而其他厂商似乎在AI的发展上失去重心。
而得益于AI人像分割技术,未来的应用场景将会非常广阔,例如手机厂商可以在视频直播、电子商务、影视娱乐、社交等领域推出个性化应用,当然目前应用最成熟的则是实时景深以及人像留色功能,其中后置联发科P90甚至已经可以做到了单镜头支持。
AI相机实时景深和人像留色打破传统相机玩法,视频时代大杀器
相比于传统人像分割的错误和失真等多种情况,联发科P90上的AI人像分割具备精准和快速等特性,其中基于这项技术实现的实时景深和人像留色功能则带来手机厂商全新的玩法。
首先是视频实时景深,这项技术的基本原理是在拍摄时,实时、智能地区分照片的各个主体,区分前景、后景、肖像、背景等,从而实现虚化模糊背景,突出主体的效果,甚至还能实现人脸美颜的功能。目前在联发科P90的APU 2.0加速下,结合算法可以实现高达1080P分辨率下30FPS的AI视频实时景深,而同期的高通骁龙710只能做到720p或是24FPS的效果,消费者可以在拍摄时就可以个性化调节景深的焦点,拍摄出具有实时景深的视频。
此外全新的AI人像留色更是给智能手机带来差异化体验,这项技术同样运用到人像分割。例如你在使用手机拍照中,手机就可以实时识别出人物的轮廓,然后通过AI运算,实现只保留人物身上的颜色,并将周遭景物全部黑白化的效果,这样会进一步突出拍摄的人物主体,无需后制的直接在手机上实现「移动好莱坞」的大片视觉感。
值得一提的是,此前的人像留色应用基本都需要搭配双镜头来实现,且还只是针对静态的照片。而联发科P90将这一技术特性应用到手机单镜头,优于竞品双镜头处理,并且进一步延伸至影片领域。如此一来用户可以随手拍出视觉大片。试想一下如果你旅行至古建筑面前,通过这个功能就可以实现古代建筑和现代人像及服务的结合,打造“蒙太奇式”的艺术效果。
借助于联发科P90的高速实时景深和人像留色功能,未来手机厂商可以在自家手机产品使拍照或是视频时, 实现实时美颜美体、即时景深、直播特效、艺术影片、复古风情等效果,考虑到当下视频和直播已成新的关注点,未来使用联发科P90芯片的手机将可以轻松拍摄出创意视频。如今5G网络的体验日益完善,用户交流从2G时代文字交流,到4G时代图片语音交流,再到5G时代视频交流将渗透到方方面面,目前淘宝电商等平台都在使用视频做产品介绍,想必消费者对手机视频功能的要求将进一步提升。
联发科此前在AI上已经有三代产品的技术积累,从目前的策略来看,联发科已经凭借AI专核颠覆了智能手机的游戏规则,单纯的CPU和GPU跑分时代已经一去不返。
图为联发科P90在AI方面的得分,已经位居行业前列。(图/网络)
很有意思的是,从目前联发科的策略来看,Helio P90定义的是新高端。考虑到传统的高端是指规格参数,而联发科此次强调新高端,应该追求的是极致的消费者体验,而不仅仅是规格参数。毕竟在参数之外,给客户带来流畅、惊艳,可感知的体验才是最重要的部分。
“变,则通。”AI专核策略给联发科品牌带来的改变是非常明显的,相对高通死守CPU/GPU/DSP,联发科此次的AI相机创新应用成为了AI应用的下一个大方向,未来各家手机厂商势必持续锁定AI、5G、物联网等新兴领域,竞相争逐智能手机产业的新高端。
|