Tracking Grow-Finish Pigs Across Large Pens Using Multiple Cameras

论文周阅读(13周)

论文标题:Tracking Grow-Finish Pigs Across Large Pens Using Multiple Cameras

论文地址:https://arxiv.org/pdf/2111.10971v1.pdf

论文源码:https://github.com/aifarms/multi-camera-pig-tracking


我们通过使用多个摄像头来解决这个问题,这些摄像头的放置方式使得相邻摄像头的视野重叠,并一起覆盖整个围栏。为了避免跟踪中断,当猪从一个摄像机的视图进入相邻摄像机的视图时,需要摄像机间切换。我们使用视点间单应性识别切换时相邻摄像机和猪在地板上的位置。


 

自动监控猪进行识别和解释其行为的挑战

围栏中通常有大量的猪,它们的外观相似,因此很难从视觉上区分彼此。此外,围栏通常位于天花板较低或其他拥挤区域的建筑物中,因此很难从单个有利位置看到整个围栏,需要从不同的有利位置跨不同的视图进行监控。


作者的主要贡献

我们提出了一个多摄像机猪跟踪系统,用于在所有摄像机视图中识别每个猪。

我们提供了一个多摄像头、多围栏数据集,其中包含从多个视点捕获的多围栏的猪视频,并将其公开。


检测追踪方法

将检测转换为分段任务。猪的四个语义部分(耳朵、肩膀和尾巴)使用完全卷积网络和匈牙利算法进行检测和跟踪。

TinyYOLO体系结构用于从红外视频中检测猪,重点是执行速度,因为目标平台是嵌入式设备。提出了一种在不同光照条件下通过时空插值结合深度和红外图像信息检测猪的方法。类似地,边界框被替换为椭圆,椭圆通过分段网络检测。使用SSD架构和MOSSE算法来执行动物跟踪。

多摄像机跟踪算法的简化描述

image-20211127093134492

在天花板摄像头检测到轨迹,使用单应性矩阵进行一个透视扭曲操作,使图像呈现一个斜向下的角度,最后与角落摄像机的检测框进行匹配。


使用单应性矩阵进行估计

使同一个平面的任意两个图像通过单对应矩阵关联。

以angle摄像机拍摄的画面为三维视图的水平面,将三维视图的点与角度摄像机二维的像素点进行一一对应(映射)

 

K是一个参数矩阵,I是一个3*3的矩阵

将相同的三维点映射到ceiling摄像机拍摄的画面的二维像素点

 

其中R和t是天花板视图相对于角度视图的相对旋转和平移。请注意,λ1和λ2是自由参数,因为由于单视图模糊,多个三维点可以映射到图像中的同一个二维点。

我们的任务是估计单视图矩阵H(.)

 

但是因为很多猪挡住了地板,使得ceiling摄像机图像和angled摄像机得到的二维图像很难匹配。

PS:我的理解是因为猪挡住了地板使得确定它们的三维坐标变得困难


对上述问题的解决方法

1、使用透视变换,ceiling视图首先变换为平行于围栏地板的自顶向下视图。两个视图的单应性矩阵表示为

 

2 、用同样的变换把angled视图转换为自顶向下视图,为

 

3、由于两个自顶向下的视图都与围栏地板平行,因此这两个视图的重叠区域中的关键点都是匹配的。这些关键点可以自动检测和匹配。但在本文中,我们通过检查手动执行这些步骤,并使用RANSAC估计单应性。

 

最后ceiling视图的像素点可以映射到angled视图的像素点

 
白天、黑夜和总体检测精度情况

image-20211127093724050

表上很明显看出白天检测精度较高


进口猪研究实验室(UIUC)的摄像机部署

image-20211127093938897

把整个场地分成两个区域,每个区域是一个围栏。摄像机分别位于两个区域的天花板上,还有一个位于两个围栏的交界处。


检测中的假阳性和假阴性

image-20211127094249596

  • Pig-16把局部识别为一只猪

  • Pig-15和Pig22检测的是同一只猪,但是赋予了不同的ID


DeepSort中的ID交换现象

image-20211127094539099

Pig-16和Pig-11出现了交换现象


posted @ 2021-12-02 19:49  匈牙利算法  阅读(96)  评论(0编辑  收藏  举报