OpenCV图像处理笔记[14]

58. 图像检索

相似检索

• 颜色、纹理、形状
• 局部特征点
• 词包（Bag Of Visual Word）

相似颜色检索

算法结构：

• 目标： 实现基于人类颜色感知的相似排序
• 模块：颜色特征 提取 & 特征 相似度 计算

颜色特征提取：

• 目标：统计图片的颜色成份 → 颜色聚类直方图
• 方法： 使用K-means++ 对图片Lab 像素值进行聚类

颜色特征相似度计算

• 颜色直方图距离

  • EMD(Earth Mover Distance)
  • 两个图片的颜色特征直方图之间的视觉相似度
  • 检索结果的排序依据

• 色差距离

  • CIEDE2000

  • Lab空间中两个颜色之间的视觉相似度

  • EMD距离的基础距离

    • EMD距离
      • 两个多维特征分布之间的非相似性度量
      • 基于针对单特征的地面距离
      • 传统运输问题
        • 场景：多对多分配
          • 物资运送：多个供应商→多个需求客户
          • 土堆搬运：多个土堆→多个土坑
        • 约束
          • 双方的节点总量相等
          • 不同节点之间的成本各异
        • 目标：完成分配的最小成本

  • 色差容忍度(Tolerance)

    • 概念：无法感知的色差
    • 计算：色差小于JND(Just-Noticeable-Difference)阈值
    • 前提：感知均匀的色差距离

  • CIE1931颜色空间

    • 容忍椭圆

    • 非感知均匀

  • CIELab颜色空间

    • 视觉感知均匀的颜色模型
    • 均匀性更好的距离CIEDE2000

相似纹理检索

算法结构

• 目标：实现基于人类纹理感知的相似排序
• 模块(与相似颜色检索类似)
  • 纹理特征提取
    • 特征空间： 多方向、多尺度Gabor滤波器组
    • 特征计算：Kmeans++聚类直方图
  • 特征相似度计算
    • 纹理聚类直方图：EMD
    • 纹理距离：L2
• Gabor滤波器组
  • 6频率(尺度)
    • 频率：1，2，3，4，5，6
    • 尺寸：25，35，49，69，97，137
  • 8方向
    • 0, 22.5, 45, 67.5, 90, 112.5, 135, 157.5
  • Gabor文理征提取
    • 彩色图片灰度化
    • 提取灰度图的Gabor滤波器特征
      • 6频率(尺度）、8方向的Gabor，
      • 48个同尺寸的特征图
      • 每个像素对应48维的Gabor特征向量
    • 使用Kmeans++聚类所有像素Gabor特征
      • K值（10）根据数据集纹理复杂度而定
      • 使用KD-tree版加速
    • Gabor卷积操作加速
      • FFT
      • 采用"图片尺寸缩小替代Gabor模板尺寸增大"
    • Gabor纹理特征提取可视化

相似形状检索

Phog形状特征相似度计算

• 标准化欧式距离

  • Si为样本集特征中每一维对应的标准差

    $Dist(P,Q) = \sqrt{\Sigma_i(\frac{P_i - Q_i}{S_i})^2}$

  • 直方图相交（Histongram Intersection）

    $Sim(P,Q) = \Sigma^{i=n}_{i=1} min(P_i, Q_i)$

Phog形状特征提取

• 金字塔梯度方向直方图

  • 网格：$1\times 1, 2\times 2, 4\times 4$
  • 直方图方向数量：9
  • 维数：189 = (1+4+16) $\times$ 9

相似局部特征检索

局部特征点特征提取

• 检测出所有
  • 局部特征点
  • 特征描述子
• SIFT特征点
  • SURF
  • Color SIFT
  • Affine SIFT
• SIFT描述子之间的相似度匹配
  • 基于欧式距离的最近邻
    • $d_1< d_2 <d_3 <d_4 < ...$
  • 比率条件
    • $d_1/d_2 < thresh$
• 图之间的相似度匹配
  • 两个图SIFT点集之间的匹配对数
  • 双向匹配

视觉词汇的字典

• 由图片集的所有视觉词汇构成
  • 视觉词汇的物理含义未知
  • 不是现成，需要构建
    • 特征检测
      • 特征点：SIFT、SURF等
    • 特征表示
      • SIFT描述子、颜色、纹理等
    • 字典生成
      • Kmeans等聚类
• SIFT视觉词汇的字典应用
  • 利用SIFT算法提取图片集中所有视觉词汇
  • 利用Kmeans算法对所有词汇聚类，收缩为字典
  • 基于字典编码图片特征
    • 词汇频数直方图
    • 最邻近词汇
    • 特征相似距离：L1、L2

大数据集的索引加速

• KD-tree
• 局部敏感哈希（Locality Sensitive Han）