提到AR视觉化,就不得不提图像语义分割技术。包括Facebook、in APP和其他入局者,所发力的AR无不基于此,在F8开发者大会上,扎克伯格演示了内容丰富、完美彩排的关于AR平台的功能,呈现了虚拟世界和现实世界结合的新方式。相比于需要强大硬件支撑的VR技术,在移动端实现AR效果的AR相机更容易落地,预测未来将被视觉化社交平台广泛使用。
扎克伯格认为,AR这一可以将虚拟图像叠加到日常生活环境上的特性,这一虚拟与现实的融合能够让我们更好的分享、沟通和体验世界。而提到AR就不得不提图像语义分割技术,图像语义分割已是现代图像理解的基石技术,就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。在我们熟知的自动驾驶系统(具体为街景识别与理解)、无人机应用(着陆点判断)以及穿戴式设备应用中已被广泛应用。
in APP推出的AR超时空相机基于深度卷积神经网络的图像语义分割技术,AR超时空相机简单来说,是通过移动端实施人像分割技术,实现了像素级别的图片识别。In APP在AR场景探索时也遇到了难题,如何在弱计算能力的手机上给用户呈现了完美的AR场景沉浸感体验,in APP通过软件算法替代传统硬件模式,在计算实力有限的手机端实现图像动态分割,才把AR到应用层面的门槛拉低。
以往AR相机大多实现的是AR图片,因为图像语义分割对硬件要求极高,in APP完成在移动设备(Android/iOS)实时处理摄像头图像,在极其有限的计算资源下要达到效果,由硬件思维转变在软件上突破,使得AR短视频成为现实。相比二维图像AR照片/短视频对用户的吸引力度更大,未来图像/短视频或全民进入AR时代。