当某厂把相机镜头塞到手机上时，不知道有多少人和我们有一样的想法：
“手机摄影硬件走到头了。”
极致的硬件堆料，是手机厂商在影像画质竞争中的首选项。从“底大一级压死人”到把潜望镜/相机镜头搬上手机，手机厂商在物理上提升光学性能的手段几乎使了个遍。如何能在光学硬件堆到极致的情况下再进一步？这个答案可能要给到——计算摄影。
是SoC还是ISP？没有对错的路线之分
无论是引发争议的华为“月亮模式”还是今天发布的vivo自研芯片V2、各大手机厂商都开始深耕计算摄影的潜力，计算摄影已经成为手机行业下一个突破口。
计算摄影听起来高级，实际就是在镜头和传感器光学性能之外，对采集到的画面信息进行优化，输出更高质量或更符合需求的画面。所以严格来讲，早期的美颜滤镜和HDR都是计算摄影的一部分。我们对计算摄影并不陌生。但想要用计算摄影做更多的事，额外的画面处理会带来对硬件计算性能成倍增长的需求。
苹果很早就意识到这个问题。他们选择自研SoC，并参考具体应用的性能需求与功耗来对自研SoC进行调整优化。iPhone 13上惊艳的电影模式，也是基于AI分析画面中人物关系，录制浅景深视频并柔顺地转换焦点，从而让视频呈现出电影般的质感。
依靠自研SoC解决计算摄影软硬件配套。这个思路很棒，但SoC行业太卷。
《SoC芯片行业研究》中就表明，国内集成电路设计企业所需的IP核大多来自境外供应商，每年进口金额10亿美元以上，占全球市场的1/3左右。产业链下游的晶圆制造环节也呈现非常明显的头部效应，根据IC Insights的数据显示，在全球前十大代工厂商中，台积电一家占据了超过一半的市场份额，前八家市场份额接近90%。与手机厂商关系最密切的产业链中游，因为手机对制程与性能的极致需求、只有高通、三星、联发科仍在对外提供手机旗舰处理器，近期三星也传出下代旗舰上放弃使用自家猎户座处理器，全面转向高通。
如果只需要一个轮子，就不要去再造一辆车。特斯拉智能驾驶芯片负责人Peter Bannon在接受采访时就表示，“特斯拉开始研发FSD（特斯拉智能驾驶芯片）的初衷是，我们发现市场上没有一种芯片是从底层出发为自动驾驶和深度神经网络算法设计的。”对于提升计算摄影性能，自研SoC并不是唯一道路，手机拍摄会经过镜组-传感器-ADC（模数转换器）-ISP(图像信号处理)-CPU这个工作流程，在计算摄影中，主要负责图像处理的ISP才是流程中的“瓶颈工序”。针对计算摄影需求开发，专用性更强的定制化ISP在计算摄影应用中会更得心应手。
（vivo刚发布的自研芯片V2，就是一颗AI-ISP架构的低功耗AI加速芯片）
深入芯片，是什么为计算摄影提供动力？
Mobileye创始人兼CEO AnnonShashua曾表示，“只有深入了解软硬件之间的相互作用是什么，才能清楚到底应该用什么样的芯片去支持什么样的算法。”
苹果大家很熟，我们就借由vivo这颗V2自研芯片来看看计算摄影是怎么在软硬件之间交织的。
与初代相比，V2这次迭代非同小可。它采用AI-ISP架构，将传统ISP低延时、高能效的特点进一步带入到AI实时处理运算架构中。
首先是通过与联发科天玑9200的联调与深度合作，vivo在天玑9200上可以借助自研芯片和SoC的双芯配合来突破原有性能上限，满足计算摄影暴增的算力需求。
从具体实现方式来说，V2采用了异构多芯片计算方式，vivo称其为FIT双芯互联技术。
vivo将两颗芯片做了一个分工，将大型复杂算法模块拆分，把算力密度小、网络结构复杂的小模型部分，通过软件部署在平台NPU上；把算力密度大、数据吞吐密集的大模型部分，部署在V2硬件上，让它们处理各自擅长的运算模块。发挥平台和外挂芯片的各自优势，做出1+1>2的效果。
计算性能上去了，往往带来的是功耗的提升，这也是传统外挂芯片难以回避的问题。
vivo对此给出的答案是专芯专用，通过芯片的定向设计达到实际功耗的降低及用户体验的提升。
V2的AI计算单元上选择了更适合做复杂成像运算的DLA加速器而非传统的NPU，并且专门搭载了更大的片上缓存，让V2的片上SRAM容量较V1提升了40%，达到等效45MB。跳出行业常用的外存DDR架构的好处是最大程度避免内存瓶颈限制数据运算效率，同时减小了影像计算中的延迟问题，为低延迟计算影像铺平了道路。
vivo将其称为全硬化定制设计近存DLA
并且在些特定场景下只调用V2自研芯片。例如V2专门内置了10bit的MAC单元以满足针对专业视频的10bit色深处理需求，据vivo称，这样相较平台SoC软件部署所采用的合并运算方式，10bit算力密度提升了4-6倍的巨幅提升。
芯片进步，为计算摄影应用带来什么改变？
双芯互联保证能同时高效运行不同架构的算法模型。近存DLA缩短了影像在整个手机拍摄管线中的处理时间，同时做好功耗控制。拥有独立影像芯片的vivo，可以在此基础上对其摄影算法进行更进一步的软硬结合来提升效果，而本次双芯技术沟通发布会中重点讲述的技术也是其算法提升的表现。我们可以借此一窥——技术进步会带来哪些计算摄影新方向？
1、部分解决手机相机镜组光学素质的局限性
手机相机受限于手机本身的厚度，镜头模组难以靠堆叠镜片来进行画质矫正。在已大量使用非球面镜片等设计下，相较相机镜头在解析度，色差、色散上仍有不小差距，尤其是长焦端。通常的解决方法是更换参数更高的镜头，通过机身设计来掩饰增大的镜组体积。
而vivo在发布会上提出了一种新思路，是和蔡司联合研发的一种计算光学算法，预先对每款手机的摄像模组特性做建模分析，预估光学缺陷并做动态补偿，弥补手机相对薄弱的光学性能。
（vivo展示的蔡司光学超分算法样张对比，据称可以恢复5倍以上焦段约35%的清晰度信息。）
2、 提升暗光下的极限拍照能力
夜景模式几乎每一家手机厂商都有尝试，有两条常见路线：一条技术路线为拍摄多张画面，通过算法进行多帧合成，尽量还原真实场景。另一条技术路线是依靠AI模型预训练，再对画面进行推算，谷歌相机就是最典型的例子。但无论是哪种方案，都需要图像处理芯片在短时间内对大量画面的存储调度和计算。
vivo的解决思路更倾向第一条路线，于软硬件结合下提升暗光环境的抓拍能力，一方面将传感器的ISO高感从上一代的16000提升到10万，大幅提升感光能力，再配合以发布会上提到的运动自适应多帧融合技术，尝试突破多帧合成方案中难以解决的拖影问题。
（根据vivo发布会数据，新架构的暗光对焦能力最高可覆盖至-6EV曝光环境）
在低至5lux的暗光场景下都能拥有极佳的画面定格能力
3、 降低拍摄延迟和智能预判被摄人物运动
vivo提出的运动抓拍概念也相当有趣，他们将运动抓拍的需求拆解为“降低延迟”和“提前预判画面动向”。
当“决定性瞬间”出现的时候，手机往往是手边唯一的拍摄设备。想要在转瞬即逝的时机中记录准确的画面，对拍摄设备的延迟有相当的要求。但手机的快门延迟往往高达170-300ms，常常是按下快门却错过了画面，这就需要在镜组-传感器-ADC-ISP-CPU这个工作流程中尽量缩短处理路径，V2芯片搭载的近存DLA的重要性就体现在这里，极短的数据链路能让快门延迟大幅降低，实现vivo宣称的“零延时”抓拍。官方称全面优化图像处理管线，快门延迟低至30ms。
同时可以根据现有画面，检测肢体运动强度并跟踪，画面走向并及时锁定画面。vivo尝试通过这二者的叠加让运动抓拍更准确。
除了计算摄影，芯片进步还有什么值得期待的？
手机性能目前已经达到瓶颈，SoC升级带来的提升已经低于10%，而作为厂商为了在竞争中赢得胜利，必须在通过其他手段提升表现，自研芯片就应运而生。
在鲁大师看来，自研芯片V2还会在以下方面带来不错的效果表现。
AI性能的提升：目前看来，vivo 基于芯片V2的出现会带动联发科9200的AI性能表现大幅提升，这部分AI性能的提升会带来的直接效果就是需要运用AI算法的APP响应时间会大幅加速。鲁大师具有对应的AI测试，会在后续的评测内容中进行针对性评测。
功耗的降低：在针对影像方面的专芯专用会带来功耗的降低，拍摄和视频是手机耗电重灾区，vivo自研芯片V2的出现会降低这部分功耗，搭配上功耗方面比较占优势的天玑9200，堪称vivo史上最强旗舰X90系列的功耗值得期待，这部分敬请关注鲁大师功耗测试。
未来，计算摄影或将成手机圈共逐之鹿
只要影像能力仍是消费者选择手机的核心要素，手机厂商间的“影像军备竞赛”就不会停止。但相比于堆无可堆的光学硬件，计算摄影的想象空间还远未被限制。如苹果、vivo、华为等提前布局计算摄影技术的厂商已经逐渐收获用户的认同。
以骁龙8 Gen2和天玑9200为代表的新一代安卓旗舰即将面世，极大概率刚发布的V2自研芯片也会出现在vivo今年的影像旗舰X90上。
如何从一众一英寸传感器中脱颖而出？定制化的图像处理硬件及依附于其上的计算摄影，或成接下来主导移动摄影天花板的关键要素。凭借领先的计算摄影能力，我们期待vivo将一英寸等顶尖光学器件的能力发挥至更佳。
|
