监控摄像头和计算机视觉(CV)处理

成像系统的复杂程度不断让人感到惊讶。现在的情况远不像以前那样简单,我们不能简单地将摄像头直接连接到人工智能(AI)系统上进行分析,现在,图像(可能来自多个摄像头)在进入AI处理之前,需要经过一系列计算机视觉(CV)的转换和处理。这种需求在监控摄像头的应用中尤其明显。

监控摄像头需求

监控摄像头的应用越来越广泛,不仅在安全方面,还在成本管理上。一个显而易见的应用场景就是居家安全。保护各类商店避免被最近流行的快速抢劫行为影响越来越重要,监控摄像头的应用不仅有助于商店的安全,也能减少我们消费者的损失和麻烦。此外,安装了多光谱摄像头(例如融合了彩色和红外视觉的摄像头)的无人机,凭借其广泛的机动性,可以探测到早期的野火迹象,并及时通知消防队员扑灭火点,防止火势蔓延。同样,配备摄像头的无人机可以对农作物进行巡视,监测灌溉、施肥和害虫管理。

▲图 1:农业中的无人机技术

所有这些应用都需要高质量且紧凑的视觉解决方案,通常需要多个摄像头配合使用,并且要在有限的电力预算下运行。在人工智能(AI)完全接管之前,重要的计算机视觉(CV)处理功能必须对摄像头图像和视频进行预处理,以满足最新的监控成像质量要求,而这些处理工作是中央处理器(CPU)或神经网络处理单元(NPU)无法高效完成的。

一个有趣但充满技术挑战的机遇

监控摄像头市场已经非常成熟,并且还在增长。全球已有超过10亿个监控摄像头在使用,其中100百万家庭使用智能家居监控摄像头。而且,预计2022年至2029年期间,全球监控摄像头市场将以16.8%的年增长率持续增长。这种增长很大程度上归功于这些系统技术的不断提升,尤其是在远程监控的智能设备中。

“智能”就是指人工智能(AI)的部分,但在进入AI之前,这些系统必须能够生成统一且清晰正确的场景视图,以便AI能够进行分析。这是什么意思呢?一些摄像头使用鱼眼镜头,能够360度全景监控,但图像会很扭曲。其他摄像头使用多个镜头来生成360度视图或广角视图。但这些图像必须无缝拼接成一个完整的视图。您可能在一些新款汽车中见过类似技术,它们生成的全景图像看起来像是从车顶拍摄的,但实际上是由前视、后视和侧视摄像头拼接而成的。

另一个重要要求是支持数字化的平移、俯仰和缩放(PTZ)。在高级交通监控摄像头中,支持PTZ功能并不难,但是在价格较低的消费者级别监控摄像头或无人机的预算范围内,这种功能并不是理所当然的。然而,我们在这些应用中同样需要,甚至更为需要PTZ功能,以便放大可能可疑的区域或查看其他潜在问题。

这些功能需要额外的计算机视觉处理步骤,这些步骤既不适合前端摄像头图像处理,也不适合后端AI处理。为了实现高质量的实时监控成像,确保准确检测并减少误报,这些步骤需要数字信号处理器(DSP)级别的准确性和处理能力。

▲图 2:在移动设备上进行图像去畸变处理

Ceva-SensPro2 CV DSP

以上面提到的鱼眼镜头的图像校正为例,这种校正通常需要对整个图像区域进行三角函数变换,而这种任务超出了此类监控成像系统普通中央处理器(CPU)的能力范围。这是一个典型的计算机视觉(CV)问题,需要大量的并行处理,还需要对非线性函数(如三角函数或双曲三角函数)的支持。

Ceva-SensPro2 DSP系列在一款嵌入式视觉处理器(DSP)中提供了这种支持,支持从128到1024个INT8 MAC(也可以配置为INT16和浮点运算)。它由六个高度可配置的核心组成,能够提供显著的并行处理能力,适合多摄像头应用。它甚至能够满足前端AI的需求,最高可达几个TOP,例如基本的物体检测,减少后续AI引擎的负担。

Ceva- SensPro2得到了非常丰富的应用库的支持,这些库涵盖了计算机视觉(CV)中的多种处理方法、用于导航的SLAM(如无人机和机器人)以及传统的神经网络AI方法。这些库不仅仅是数学扩展。例如,在计算机视觉方面的支持当然包括滤波和颜色转换等基本操作,同时也直接支持通过多种标准算法进行特征检测和图像畸变校正。对于平移、俯仰和缩放(PTZ)操作,库中提供了图像变换功能以及数学和向量处理功能。在AI网络库的支持中,包括张量操作、卷积、池化、激活和递归等功能。所有这些都在一个开放源代码框架上运行,可以移植到SensPro2上。

▲识别二维码,立即了解Ceva-SensPro2

您是否真的需要添加另一个核心来支持您的处理流程?

这是一个值得明确回答的问题。从概念上讲,像去畸变、图像拼接等功能在专用的计算机视觉引擎上运行会比在通用CPU上更快。而且,客户的实际采用情况也能说明问题。台湾上市公司Novatek宣布在其NT98530芯片中内置SensPro2,以支持监控应用。他们使用SensPro2进行360度去畸变、4Mx4M摄像头拼接、视频稳定、AI场景检测以指导ISP自动调整、RGB与红外传感器融合以及立体深度支持。所有这些都是为了实现每秒60帧的4K成像。Novatek非常依赖SensPro2及其SDK。

还有其他未公开的客户。显然,他们都认为,处理这个任务所需的整个流程非常复杂,因此需要在处理过程中使用高性能的计算机视觉技术。从Novatek的需求范围可以看出这一点。

如果您有类似的需求,欢迎联系我们或访问我们的产品页面。

识别下方二维码

立即了解CEVA-SensPro2

识别下方二维码

立即了解CEVA-Edge AI Sensing


夕夕海 » 监控摄像头和计算机视觉(CV)处理

发表回复