每次不知道该聊点什么的时候,我就会去一些网站和社区溜达找找灵感,海外如WIRED、MIT News、mashable,国内如极术社区,都是我的大脑“充电站”。
这个周一,被选题按在桌前摩擦的我又去极术社区里逡巡了,恰好就让我发现了一个极为有趣的事情:一个名为《安谋中国“玲珑”ISP处理器概览》分享,在极术社区引起了开发者的热议,很多问题在帖子下面建起了高楼。
无独有偶,近两年在产业界,我们也能发现ISP芯片慢慢的变有存在感。苹果、三星、华为等已经在产品中应用了自研ISP模组,OV小米等手机生产厂商在冲击高端化进程中也加大了自研ISP领域发力。
ISP这个名词可能有点陌生,但早已渗透在绝大多数普通人的日常生活。简单来说,相机在采集图像时,会遇到许多影响图像质量的因素,噪音、色差、明暗等变化都可能会导致设备无法还原出真实的画面(所以不要再怪苹果前置摄像头把你拍丑了)。而ISP(Image Signal Processing) 图像信号处理的作用,是通过降噪、自动曝光、自动对焦、自动白平衡、图像锐化等操作,把传感器采集到的数据转换成接近真实场景的数字流。
不难发现,ISP最为大众所感知的应用,就是手机的摄影摄像功能了。那么,在智能手机在存量市场“内卷”的当下,摄影摄像似乎已经停留在高水平竞争很久了,这股ISP热潮究竟是从何而来?为何会吸引如此多的开发者及厂商?又是怎么样影响中国智能化进程的?
佛教有云,一切有为法,皆待缘而起。ISP为各大芯片厂商,尤其是中国企业所重视,并不是没有原因的。佛陀将缘起归结于老死忧愁等苦难,ISP的“走红”也与现实挑战有着直接关联。
第一重挑战来自国际。在全球半导体贸易的不确定性当中,传统的芯片架构和供应链都可能会影响中国智能产业的发展,因此,更自主可控的方案如ARM架构就取代传统芯片方案成为手机、电脑、汽车等芯片的主流,而所谓处理器核心模组之一的ISP芯片,自然也面临着新的市场需求和技术创新。
第二重挑战来自国内。随着AI、5G、云计算等技术的成熟,慢慢的变多的行业场景开始应用上了计算机视觉技术,摄像头变得无处不在。尤其是数字化建设如火如荼的中国,摄像头、视觉感知等应用爆发式增长。比如在汽车无人驾驶辅助系统(ADAS) 、工业人机一体化智能系统、文档扫描、人脸识别、智慧监控等等多种社会服务中,都对图像质量提出了更高的要求,数字中国的发展,推动着ISP芯片以更低的功耗成本实现更高的分辨率。
第三重挑战来自用户。当然,智能手机的图像质量是大众最常接触、最具感知力的应用了。快速地增长的影视技术,清晰度从720p快速的提升到4K乃至8K时代,直播、短视频、虚拟现实、AR等新应用的出现,也对ISP的性能、功耗、延迟等都提出了挑战。对于智能手机生产厂商来说,在媲美单反的基础上,打造出差异化的影像能力,慢慢的变成了一道不容回避的命题。
天时、地利、人和,三者皆备,ISP芯片自然也慢慢变得受到开发者和厂商们的重视。
既然ISP需求量开始上涨的背景已经明确,那么更符合当下产业及消费者需求的ISP芯片,其特征也就呼之欲出了:
更高的可控度。不仅要在供应链层面保证各个厂商应对不确定性的需求,还要包含差异化图像能力的软硬件基础,从而最大限度降低下游厂商的产品研制风险与成本。比如安谋中国就面向中国市场,以ARM架构为基础自研了“玲珑”多媒体产品线,来赋能本土自主创新。
更高的性能。通过更先进的技术,满足工业、无人驾驶、安全监控等对图像画质高精度的需求,比以往更强大和精确。以无人驾驶为例,就需要捕捉非常大的视觉动态范围,并且比人眼更精准地识别暗处和明亮的图像细节,以保证行车及路人的安全。
更低的功耗。无论产业应用还是个人移动终端,都对功耗比较敏感,耗电、发热等问题都可能会影响整体部署成本和使用者真实的体验,这就要求ISP的创新不能以能效为代价,以更好地满足数字化转型中的现实需要。
如此看下来,ISP的技术创新难度并不简单,需要技术人员一点一滴地突破,难怪能引发不小的专业讨论。
纵观极术社区中围绕玲珑ISP展开的讨论,广大开发者比较关心的线A算法是否在ISP里运算,哪些场景下需要单独的ISP芯片,机器学习对ISP芯片的影响等等。
想要提升成像质量,3A算法即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB),起到了十分重要的作用。比如说,当传感器将图像信息传递给ISP芯片时,自动判断是否对明亮或暗处的像素采取行动,能够让计算机视觉系统做出更准确的判断。
以安谋中国本土团队自主研发的“玲珑”i3/i5 ISP 处理器为例,就通过3次曝光HDR,将一个场景的长时间、中时间、短时间曝光合成一帧,从而在逆光等宽动态情况下,对明暗区域都能够很好地记录,从而在宽动态范围、低光降噪等方面获得不错的表现。说人话就是,逆光拍摄相机也能看清你的美。
第二个技术趋势,是从集成向外置演进。传统ISP芯片被集成在处理器内,随着高像素、高画质的需求出现,CIS传感器的尺寸也变得越大,外置独立ISP在功耗上更具优势。不过,相比内置方案,成本更高、开发周期也较长,这就需要芯片厂商进行取舍。
第三个技术趋势,是ISP与AI的结合。将传感器信息转化为图像是一个复杂的过程,ISP往往有成百上千个不同的参数做调整。而前面提到,视觉感知在各行各业中的应用愈来愈普遍,不同的镜头和传感器具有不一样的特性,这时候为特定相机系统来进行优化调整、开发针对性的芯片产品,就变成了一项极具挑战性的任务。所以将AI处理器的智慧分析能力与ISP的信号解决能力,能够达成更强大的成像效果。
由此则产生了第四个技术趋势,那就是定制化支持。如前所说,,ISP可应用场景慢慢的变多,不同的场景对应着不同的能力需求,使得通用性的ISP难以全面通吃,这就要求IP开发厂商能够与服务垂直行业的开发者保持紧密沟通与及时响应,来打造更具灵活性、定制化的产品。
今天,中国正在以举世瞩目的速度进入到智能时代,被数字化的物理世界不单单是消费者手机中的一张张图片,还是各个行业智能机器“眼中”不可或缺的数字养料,滋养着整个中国的智慧水平。
从这个角度看,ISP芯片慢慢的变成了中国智能产业不可忽视、不容错过的一张底牌,等待着更多有识之士去探索和解密。