零度智控推出基于联芯LC1860的双目视觉整体解决方案
2015-12-18

随着CV(计算机视觉)技术在无人机等智能产品上的应用,使得产品的智能化程度日益提高,虽然普通的单目图像已经可以满足大量的应用场景需求,但距离人们 所期望的智能水平还有很大差距,比如无人机上被反复提及的避障功能,单目图像由于不能提取环境深度(距离)信息,所以对避障没有实质的帮助,而这时一种类 似于人类双眼原理的双目视觉深度恢复技术就可以解决感知环境深度的难题。

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取 物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别(视差图像),使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理 点在不同图像中的映像点对应起来。

双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和 人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场 景的距离信息也是计算机视觉研究中最基础的内容。

双目视觉深度恢复技术可以使智能机器人具备对环境的深度感知能力,在无人机、智能机器人等领域有着非常广泛的应用前景。

同时随着智能硬件的普及和发展,更多的智能硬件也对微型化、低功耗、低成本的双目视觉深度恢复方案有着强烈的需求,在此背景下,零度智控推出了基于LC1860平台的双目视觉深度恢复整体解决方案。

双目视觉深度效果图

该方案由硬件平台和核心算法两部分构成,具备视觉深度传感器和强大的运算能力,可以实现对空间环境的3D深度感知,实现高精度视觉定位,还可以实现对选定 物体的快速对焦、对锁定物体的高速连续对焦、对锁定物体的自动跟随对焦,使无人机、家庭机器人等智能机器系统具备更加“智能化”的行动能力。
整体方案介绍

零度智控此次推出的双目视觉深度恢复方案,硬件部分基于LC1860平台搭载,集成四核1.5GHZ高性能处理器、2GB 内存和16GB容量,可以供用户在此平台上开发和定制多样化的应用程序,同时平台还搭载了一颗低功耗可供用户定制的变频单核A7处理器,配合高智能电源管 理芯片LC1160,为更多低运算、低功耗场景提供了便利和可能。

LC1860双目方案核心板

双目图像采集模组

零度智控的双目深度算法运行在双核Mali-T628 GPU上,强大的图形运算处理能力和高效的深度算法,保证了平台可稳定处理分辨率为320 X 240@ 25fps的双目图像实时转成深度图输出。为便于用户拓展更多模组和功能,输出接口方面也提供了种选择,网口、WIFI、USB、Uart、SPI、 I2C等多达256个可复用GPIO为用户实现多种通信方式和控制成为可能。

系统结构框图

该方案基于Linux操作系统开发了一套融合双目摄像头采集,深度算法以及用户自定义应用的解决方案。

面向合作用户开放的SDK是整个解决方案的核心,它集成了双目摄像头数据采集模块、深度算法模块、用户自定义应用模块、无线WiFi传输控制模块、有线 WLAN传输控制模块、其他接口驱动控制模块。LC1860平台上和接口都包含用户自定义处理区,用户可以选择在1860平台上直接开发,也可以选择将深 度图发送给其他设备做二次开发,使用C/C++语言容易的设计并实现自己的双目应用与基于双目深度图的算法。让用户可以享受完全的自由设计,满足多样化的 双目应用需求。

对于普通开发者,零度智控还提供了ZERO SDK API,开发者仅需要调用相应API函数,即可得到双目深度图数据, 以简化开发流程和步骤。

知识的获取源于经验积累,但经验可以分享,这次零度智控推出基于LC1860的双目视觉深度恢复系统解决方案,便是一次面向合作用户开放的经验分享,让合作用户可以借助该方案以更低成本、更快速度地提升智能机器系统对3D环境的“智能化”感知能力。

造福于人类是科技的最高境界,我们相信通过各方的共同努力,该方案将很快在无人机、智能机器人等领域得以推广和应用、走进人们的生活。