此监控采用三维成像技术和语声混合算法,将周围物体的三维建模和尺度测量用3D技术来实现。
方案介绍
目前,国内外尚未将三维成像技术成熟应用到监控产品上面,功能比较接近的产品是车辆智能全景监控系统。但它只能记录平面信息,不能全面地反映周围环境的具体情况。
今天为大家介绍的360度全景智能监控方案,正是在车辆智能全景监控系统发展而来的,是对车辆智能全景监控系统的改进。通过采用三维成像技术和语声混合算法,本系统一方面将周围物体的三维建模和尺度测量用3D技术来实现。另一方面,还将全部观测点的声音信息全部记录下来,使得记录的资料更加生动、形象和全面。
三维智能全景监控系统主要分为如下几部分:中央处理单元、显示与人机界面、专用摄像头(分布式安装)。
本系统的主体为中央处理单元,该部分主要包括:
(1)视频采集部件,采集系统所需视频,并将采集到的视频传送到视频合成部件。
(2)视频防抖部件,最大程度地预防在视频采集过程中的抖动,同时进行相应的视频补偿操作。
(3)视频合成部件,将采集到到视频内容进行无缝合成,形成全景视频,并输送到投影与映射单元。
(4)投影与映射部件,将合成的视频内容进行投影与映射,输出到相应的终端。
(5)目标检测部件,对周边的目标物体进行智能检测,按照预先设定的规则进行智能控制操作、综合障碍预警和多元导航信息等。
(6)GIS部件,对移动主体进行GIS定位功能。
选用的系统方案主要包括:
1.DSP核心处理器单元
2.FPGA协同处理器单元
3.图像采集单元(相机)
4.视频解码芯片
5.视频编码芯片
6.CAN模块
应用范围
1、中高档汽车。
2、工程机械。
3、港口船闸
4、水库大坝
5、金融场所
特色
TMS320C6000系列DSP选型及分析:
TMS320C6000系列DSP(Digital Signal Processor)n胡n¨是TI(TEXAS INSTRUMENTS)公司于1997年2月推向市场的高性能DSP,是目前在市场运用最广泛也是最成功的一款数字信号处理芯片之一,C6000系列DSP具有高性价比、功耗低等优点。
TMS320C6000系列包含两种类型的芯片分别为定点DSP和浮点DSP。TMS320DM642芯片是TI在2003年推出的一款32位定点数字信号处理器,是采用先进Veloci技术的VLIW构架,属于C6000系列DSP主要面向数字图像处理。
TMS320DM642处理器是在TMS320C6000平台上的高性能定点DSP。DM642是基于第二代高性能、先进Veloci TI技术的VLIW结构,这些特性使得此款DSP处理器被选为面向视频图像处理的最佳选择。DM642在理想状态下主频能达到720MHz,在此主频下处理速度能最高达到5760MIPS,C64x系列DSP内核有64个通用寄存器和8个独立的功能单元分别为2个乘法器和6个ALU。Veloci T11.2升级版,可以发挥功能单元的优势提升在实时图像处理方面的性能。DM642每个机器周期最多能提供4个16位多路累加运算(Multi—Accumulates.MAC),每秒可提供2880百万个MAC,或者8个8位MAC,每秒5760MMAC。DM642具有与其他类型DSP不同的硬件结构,与其他C6000系列DSP平台有相似的片上外设u 2|
FPGA的选型及分析:
Xilinx公司主要生产的FPGA有两大类型:一种是Spartan系列,另一种是Virtex系列,Spartan系列芯片主要针对中低端的消费电子应用领域,Virtex系列芯片主要应用于通信和网络终端等高端设备领域。
本方案选用的是拥有40万系统门数的Spartan一3AN系列XC3S400AN型号的芯片,所以着重介绍此款芯片的资源外设等相关信息n6|。
Spartan一3AN系列芯片为系统集成度非常高的非易失性FPGA,此款芯片有以下几项独特性能:FPGA有大量内部SRAM高性能资源、非易失性、缩小板卡空间和配置便捷等特点。
图像传感器的选型及分析
本方案的图像采集模块核心器件采用CMOS图像传感器,基于多图像传感器融合的全景泊车系统的构建需要4片图像传感器,由于本系统是主动安全驾驶辅助系统,对图像传感器的要求并不是太高,只要图像清晰、芯片适用于车载即可。
MT9V024图像传感器:MT9V024是像平面尺寸为1/3英寸、宽VGA模式的CMOS有源像素图像传感器,它采用TrueSNAP球形快门和高动态范围。该传感器专门为内外兼顾的汽车成像需求而设计,这使得它成为多种成像应用环境的理想芯片。
0V7960图像传感器:0V7960是OMNIVISION最近两年新推出的小尺寸图像传感器芯片,它的出现满足了汽车业对辅助驾驶系统应用要求(如倒车后视镜),开创了CMOS图像传感器在汽车安全辅助驾驶系统应用的新开端0V7960图像传感器的性能完全满足了汽车电子行业对图像传感器成像效果的特殊需求,1/4超小巧体积,在低光照下的也有良好的性能(<0.01LUX),并采用全球最小的CSP封装,体积比同类产品小50%,已经成为CMOS产品的领导者。
经过综合考虑本设计才用0V7960图像传感器作为相机的图像采集芯片。
功能
采用DSP作为本系统图像处理的核心处理器,FPGA作为协同处理器,充分发挥了两种不同处理器的各自优势。
FPGA主要负责整个系统的逻辑控制和视频图像的预处理,包括编/解码芯片的驱动、外部存储器的扩展和简单的图像预处理等,并预留有足够的逻辑资源空间以便以后复杂算法植入和功能扩展的需要。
DSP主要负责4路广角相机视频图像的采集、1路视频图像输出以及复杂图像处理算法的实现和接收CAN模块的信息。
系统方块图
核心器件
成功案例
针对本系统在车辆的三维全景监控系统上进行了实践和应用。通过本系统进行视频合成虚拟出来的监控范围内有效区域的全景视图效果,并利用三维图像的形式进行显示,提供更加真实的虚拟现场。同时,本系统还可以实现关键部位的自动尺度测量,在必要的时候,主动进行报警。其效果演示图如下: