在实时自动检测系统中动态划分监视视频数据的优先级外文翻译资料
2023-08-15 11:12:08
英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
在实时自动检测系统中动态划分监视视频数据的优先级
摘要
自动化的物体检测系统是现代监视应用程序的关键组成部分。这些系统依赖计算上昂贵的计算机视觉算法，该算法对监视摄像机记录的视觉数据执行目标检测。由于这些系统的安全性和隐含性，因此可以实时准确地处理此可视数据。然而，由监视摄像机创建的许多帧可能不那么重要，从而几乎没有或没有为物体检测系统提供有用的信息。通过优先考虑重要的摄像机帧来对监视数据进行二次采样可以大大减少不必要的计算。因此，一些工作已经探索了使用各种信息模式（即空间或时间信息）进行优先级排序的动态视觉数据子采样。但是，很少有作品 结合并评估了不同的信息模式，以实时确定视觉监视数据的优先级。这项工作评估了从不同信息形式中得出的几个单独的和组合的优先级度量标准，可与基于现代深度学习的对象检测算法配合使用。测量处理时间和对象检测率，并用于对优先级度量标准进行排名。一种使用对象检测算法创建的历史检测置信度的新颖方法被证明是最好的独立优先级度量标准。此外，提出了一种新颖的集成方法，该方法使用KNN回归器结合先前评估的最佳指标来创建动态优先级排序方法。与使用三个可公开获得的数据集证明的静态子采样基线相比，该集成方法显示出将对象检测率提高了多达60％。在满足自动化对象检测系统的实时约束的同时，实现了更高的对象检测率。
关键字词 视频监控；计算机视觉；实时系统；物体检测
1 介绍
现代监视网络具有许多工业应用，包括监视医院的患者，检测体育场内的暴力以及识别机场的行李丢失（Kiewiet等，2011；Ramachandran等，2012；Wang，2013）。）。无论应用如何，这些系统都有相同的基本目标：检测和报告感兴趣的对象或人，也称为对象检测。传统的监视系统需要人工监视几个摄像头。如果并且当目标物体出现在监视器上时，则预期人类会对威胁做出快速而准确的反应。然而，人类操作员经常遭受一种称为“操作员失明”的状况，当长时间提供大量数据时，这会严重限制其检测安全威胁的能力（Kiewiet等人，2011）。
物体检测器已经在计算机视觉和专家系统领域中存在多年（Andreopoulos＆Tsotsos，2013），并已广泛用于自动化监视系统中（Kiewiet等人，2011 ; Ramachanandran等人，2012 ; Shah等人） 。，2007）。对象检测算法在图像中识别的对象周围创建边界框，简单的矩形形状。根据算法认为盒子内的物体属于已识别类别（即人，椅子）的强烈程度，为检测器绘制的每个盒子赋予关联的置信度。
可以将自动物体检测系统（AODS）的设计描述为生产者/消费者关系。监控摄像机产生图像帧，自动物体检测系统对其进行处理以识别感兴趣的物体。AODS（例如本工作中考虑的AODS）通常会通过基于Internet协议（IP）的网络连接到监控摄像头网络。每个摄像机都通过网络将编码后的视频传输到系统。从网络接收到视频数据包后，视频解码器将编码的相机流进行解码并对其进行解码，以生成一系列要存储在图像池中的帧。然后，处理单元用于对从监视摄像机网络接收到的图像帧池执行对象检测。根据目标检测器的输出，决策逻辑执行一个动作。例如，如果在覆盖入口的摄像机视场（FOV）中检测到枪支，则决策逻辑将远程锁定入口的门，并通知安全人员立即采取行动。该架构的框图在图1。
图1
具有帧选择器的自动对象检测系统（AODS）的框图，该帧选择器对视觉监视数据进行二次采样。
随着安全监控系统中摄像头的数量不断增加（Williams，2017；Aradhana，2018），每秒产生的图像帧总数正在迅速增加，这给大数据处理带来了挑战。要求AODS实时处理大量数据，以便正确，迅速地识别出任何感兴趣的对象。对象检测算法及其相关的处理硬件主要负责AODS的检测精度和速度。
当前，性能最佳的对象检测算法使用深度学习神经网络。特别是卷积神经网络（CNN）（Sze等人，2017 ; LeCun等人，2015 ; Zhao等人，2019）。以前，物体检测器依赖于更传统的图像处理方法，例如边缘检测或熵（Andreopoulos和Tsotsos，2013年）。用于对象检测的现代深度学习方法具有令人印象深刻的准确性，但是却以高昂的计算成本为代价。
AODS必然对精度有严格的限制，这使得满足实时处理要求成为系统设计人员的挑战。在这些限制条件下满足实时性的一种方法是为对象检测系统使用附加的处理硬件单元。但是，所需的处理硬件单元非常昂贵-每个单元的价格从$ 1000 USD到$ 10,000 USD不等。这是一种没有吸引力的选择，有时甚至不切实际，它会使AODS的总体成本膨胀。
更具成本效益的选择是仅对输入的视频数据进行子采样，仅处理预定比例的摄像机帧。这将限制对更多处理单元的需求，并使系统满足AODS的实时要求。天真的方法是为每个摄像机流使用静态子采样频率。但是，此方法对于最大化对象检测将不是最佳选择，因为它将所有视觉数据都视为相同（即，空走廊和繁忙的午餐室将被视为相同的优先级）。
通过对每个监控摄像机流的帧进行预处理，AODS可以智能，动态地对输入数据进行子采样，并对其进行优先级排序，以最大化检测到的对象数量。在图1中，可以使用优先级排序方案在帧选择器中应用智能子采样。
智能子采样的优先级排序策略在自动化监视研究中并不是新事物。它们已用于自动监视处理系统中的优先级感知计算和摄像机监视网络的优先级感知通信（Ramachandran等，2012年）。）。优先级感知的通信和计算已作为完整AODS的一部分应用于这两个瓶颈。在优先级感知通信的情况下，相机和系统之间的带宽可能会受到限制，因此仅允许将一部分可能的内容传输到处理系统。优先级计算适用于处理系统的带宽成为瓶颈的系统。尽管这是两个独立的研究领域，但两者所采用的许多优先排序方法都可以互换使用。
通过优先处理相机帧并仅选择重要图像进行预处理，可以大大减少不必要的物体检测系统过度使用（Ramachandran等人，2012 ; Kang等人，2017 ; Zhang等人，2015）。相机的FOV大小和观察区域会极大地影响确保确保不会丢失任何检测所需的最小帧频。此外，在任意子采样时，视频中感兴趣对象的移动速度也很重要，因为它们可能很快穿过帧，从而完全被错过。
这项工作中进行优先排序的目的是动态地对视觉数据进行子采样，从而在保持检测水平的同时减少对对象检测系统的需求-最终降低AODS的成本。因此，确定优先次序的方法必须不需要昂贵的处理硬件（即GPU），否则将失去子采样的好处。
已经使用不同的信息方式对视觉数据优先级进行了许多工作。时空数据是动态视觉数据优先级排序中经常使用的一种简单流行的模式。尽管空间信息是基于单个图像中的像素位置和值（通常是灰度），但时空方法会考虑这些值随时间（即逐帧）的变化。许多作品使用时空数据进行无线数据优先级感知通信（Mehmood等，2015 ; Irgan等，2014 ; Nasir等，2009 ; Ko等，2015 ; Wang等，2016 ; Mudassar， 20
