跳至正文

技术分享篇——视频融合

视频融合技术

传统视频监控系统画面分散,监管人员需要观看多个分镜头画面,难以将零散的分镜头视频与其实际地理位置对应,容易产生信息孤岛,同时单个目标容易出现在多个画面中,导致信息冗余。通过视频融合技术将多路视频实时拼接为一路全景视频则可以有效解决以上问题,提高监管效率。

视频融合技术是一种将来自多个摄像头或视频源的信息整合并合成的技术,其主要目的是通过有效地整合多路视频流,生成一幅连贯、无缝且信息更为完整的图像或视频,提高监测覆盖范围和监测效果。视频融合技术一般可以分为三个层次,即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩亮度调整及配准等等。视频图像配准是指找到相邻视频图像间的重叠区特征,以实现不同摄像头图像的匹配,达到融合更真实,信息更准确的目的。信息融合层即视频图像的融合。视频图像融合的智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合,是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征,如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策,依此进行视频或图像融合。

应用场景

1、工业监控

主要用于生产园区、工厂等场景,监测生产线、机械设备,提高生产效率,实时发现潜在问题。视频融合技术可以将多个摄像头的视频画面融合到一个画面中,方便监控工厂生产线的工作状态和生产情况,及时发现异常并进行处理。

2、安防监控

对公共场所进行实时监测、集中监控和管理,提高公共安全保障能力,对异常行为进行及时处理。

3、交通监控

观察道路交通流量、交叉口情况,方便对道路交通情况进行实时监控和管理,提高道路通行效率和交通安全保障能力,提高交通管理效果,减少交通事故。

视频融合产品

1、高速线材厂

高速线材厂内线材生产速度快、工作环境高温高压且需要多工位协同作业,有效的视频监控系统能够实时检测并协调各个生产环节,保证生产线的稳定运行。传统监控系统主要依赖于多个独立摄像头进行视频采集,各个摄像头的输出被独立传输到监控中心,视频间重叠区域大,监控人员需要同时观察和分析多个视频流,无法对全局场景有效感知,而多路监控视频实时融合技术能够满足高速线材生产线的监测需求,提高监控系统的整体感知性和人员监管效率。

目前使用两台服务器对产线27个监控摄像头进行实时融合,于智慧中心大屏呈现实时融合效果,视频流延迟低于一秒,确保监控数据的实时性,有助于及时发现和处理潜在问题。同时,产品实现大小围盘实时切换、放大等辅助功能,主要具有以下效果:

1)多路监控实时融合

相邻摄像头进行无缝拼接与融合,形成一张视角更宽的视频,能够“一张图”检测全局动态,无需切换任何分镜头画面,实现对重点区域整体现场的全景、实时、多角度监控。多路监控视频被实时融合,呈现在智慧中心大屏,使监控人员能够在一个画面中综合了解整个生产线的运行状况。

2)历史事件快速回溯

能够实时存储历史视频,并支持回放和查询,直观呈现问题行为的连续过程。

3)重点区域实时放大

针对重点关注区域,如飞剪、围盘等区域,提供单点或多点放大功能,用户根据需求可以对关注区域进行放大。

4)不同产线快速切换

针对多产线切换生产的情况,支持根据工况实时快速进行产线切换,快速响应,以对不同产线进行统一管理,方便监控人员快速定位目标产线。

高线厂左侧产线融合效果

高线厂右侧产线融合效果

2、 焦化厂区

视频融合技术可以实时监测焦化厂的各个关键区域,包括生产设备、工艺流程和安全隐患区域。通过全景视频的实时拼接,监管人员能够更全面、清晰地观察生产现场,及时发现潜在的安全问题,从而提高厂区的整体安全管理水平。同时,在面对火灾、泄漏等突发事件时,视频融合技术能够提供全方位的实时视频监控,有助于迅速定位事件发生地点,加速应急响应。这对于保障生产安全和减少损失具有重要作用。下图为基于无人机影像数据拼接效果,它是通过自动查找特征点并匹配后计算最佳拼接缝实现的融合。

焦化厂区八路视频拼接效果