视觉感知基本知识
序言
自动驾驶是目前非常有前景的行业,而视觉感知作为自动驾驶中的“眼睛”,有着非常重要的地位和作用。本着“不积跬步,无以致千里”的态度,记录下一个个相关知识点。一方面用于备忘,另一方面也可以让需要了解相关知识的人一个快速学习的机会。
目录
知识点1:色彩空间 Ycbcr-> RGB
知识点2:光照补偿
知识点3:评分标准
知识点4:特征匹配算法
知识点:感知哈希算法
正文
知识点1:色彩空间 Ycbcr-> RGB
RGB 带色彩 ,带亮度 Y 0.299 0.587 0.114 R Cb = -0.1678 -0.3313 0.5 * G Cr 0.5 -0.4187 -0.0813 B
知识点2:光照补偿
视觉感受的亮度是眼睛入射光强的对数函数
g(x,y) = (Gl-G0)/((Lnn-Lnm)x[ln(f(x,y)-lnm]+G0)
g(x,y) 变换后亮度值
Gl:变换前最大灰度
G0:变换前最小灰度
g(x,y) = 255x(ln(f(x,y)-b)/(lnE-lnB) B<=f(x,y) <=E
g(x,y) = 0 f(x,y)< B
g(x,y) = 255 f(x,y) >E
过亮或过暗区域修正:
Pr(rk) = nk/N , 0<=rk<=1,k=0,1,...,L-1
Sk=∑i=0,k(pr(ri)) ,mk=∑i=0,k(ni)
1) sk<5% ,sk+1 >5%,mk>100,f(x,y)靠近灰度值0,令B=f(x,y) ,排序从低到高,取前5%,mk足够,设最低为B
2) sk<95% ,sk+1 >95%,mk>100,f(x,y)靠近灰度值255,令B=f(x,y) ,排序从高到低,取前5%,mk足够,设最低为E
算法流程如下:
IN_Image OUT_Image (针对光线暗) | /|\ \|/ | RGB-> YCbCr YCbCr -> RGB | /|\ \|/ | 直方图均衡化 ----> 自适应非线性转换
知识点3:评分标准
针对多目标跟踪:MTT(Multiple target tracking) MOT(Multi-object Tracking)
给定一个图像序列,找到序列中运行的物体,对目标进行定位,将不同帧中同一目标一一对应,记录其ID,并给出不同物体的运动轨迹。
1.MOTA :Multiple Object Tracking Accuracy
2.IDF1 :ID F1-score
3.FP
4.FN
5.MT :Mostly tracked target
6.ML :Mostly lost target
7.IDS :ID Switch
8.FM :Fragmentation
知识点4:特征匹配算法
SIFT
步骤:
1)尺度空间极植检测
2)特征点提取
3)特征方向提取
4)特征点局部特征提取(关键点表示特征)
缺点:实时性差
SURF
优点:实时性好
BRIEF
步骤:
1)通过逻辑运算(异或)获取描述符之间的相似度,提高匹配速度;
2)描述符索引与聚类:索引:编码可快速获取对应关系;聚类:相似度较高描述符聚类。
FAST
设置相应阈值来控制特征点的数量
知识点:感知哈希算法
1)缩小尺寸(8x8)64个像素,去除细节
2)简化色彩,转换成64级灰度值
3)计算平均值
4)比较像素的灰度,与平均值比较,大于为1,小于为0
5)计算哈希值,64位整数为图像的指纹
6)比对图像(汉明距离)
小于5为相似,大于10为不相似