基于模式识别的的内窥镜肿瘤检测

1.主要目标

           (1) 在小波域下的肿瘤病变息肉诊断,辅助医疗

2.小波域下的彩色肿瘤息肉诊断

           目标：一些彩色内窥镜结肠息肉图片(128*128)。

           方法：二阶小波变换获得彩色通道(在rgb,xyz,xyY,CIE-lab,HSV三个通道下进行测试)的灰度共生矩阵，基于三个通道的灰度共生矩阵获得72维的协方差向量。使用线性判别分析、SVM(libSVM)，和BP神经网路获得分类结果。

2.1主要理论

       (1)治疗结肠癌早期诊断很重要，因此结肠息肉或者有可能恶性病变的区域的发现，很关键。本文利用纹理信息，传统用几何外形来判断。息肉是粘膜表层的突起组织，大小各异，75%为胰腺状，为恶性肿瘤。CT或者MRI，并不能够精确的发现小的息肉。

       (2)考虑纹理表征的三个问题：

           颜色通道：the  introduction of color information, especially by calculating grayscale texture feature the different color channels, significantly improves color texture  classification.并且不同 color channel的纹理信息之间的相关性也应该考虑。

           尺寸问题：无法定义一种分辨率能够显示所有病灶的尺寸。那么可以考虑使用多分辨率表征图像纹理信息，因为某种分辨率下无法发现的特性在另外一种分辨率下能够容易的发现。相同的纹理或者灰度级区域连接形成物体。若尺寸小对比度低，应该采用高的分辨率。若尺寸大对比度强，采用低的分辨率即可。

           空域/频率问题：A spatial/frequency representation, which preserves both globaland local information, is adequate for the characterization of texture. Thewavelet transform offers a tool for spatial or frequency representation bydecomposing the original images to the corresponding scales.

          When decomposition level decreases in the spatial domain, it increases in the frequency domain providing zooming capabilities and local characterizationof the image. 当级数上升的时候，频率信息增强，而空域信息下降。实际上，低频图像反应global 信息，高频图像反应local信息，也就是纹理信息。因此使用中间通道进行纹理分析

       (3)小波分解

         使用一个 lowpassfilter H, and a bandpass filter G. 分对图像进行卷积。将图像分解为几个尺度的的图像(见Fig2)：见子带编码中的下采样。向下的箭头代表着upsamplingprocedure。其中L_n为低分辨率（low resolution）的图像。D₁, D₂, D₃……D_3n ,k=1,2,3……,n。为detailed图像这是一个反复处理的回归方程组(fig1)。

Fig1. Recursiveequations of filtering procedure

Fig2. Three-level wavelet decomposition scheme of original of onecolor channel

       （4）灰度共生矩阵GLCM----GrayLevel Co-occurrence Matrices

            由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两象素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。

           灰度共生矩阵是一种表征图像纹理(texture)信息的统计模型（statistical model），注意为一组矩阵。这里抓取的是二阶灰度信息，因为这一层面的纹理信息更加接近人类对纹理信息的辨识和感知【65】。For a coarsetexture these matrices tend to have higher values near the main diagonalwhereas for a fine texture the values are scattered.也就是说，粗糙的纹理图像，matrices 主对角线的值比较大，反之若图像时平滑的，则matrices元素的值是发散的，即所有的灰度对偏向均匀分布。

         灰度共生矩阵能反映图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。灰度共生矩阵用两个位置的象素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性，是有关图象亮度变化的二阶统计特征。它是定义一组纹理特征的基础。

        下面考虑灰度共生矩阵的生成：

         设I(x，y)为一幅二维数字图象，其大小为M×N，灰度级别为K,则满足一定空间关系的灰度共生矩阵的元素的值为：

         f(i，j)=∑{(x1,y1)=i,(x2,y2)=j |x2=x1+a,y2=a }其中(x1,y1)∈M×N，i , j为灰度

         即灰度共生矩阵元素的值为相匹配灰度点数对的数目。(x1，y1)和(x2,y2)的点数对总共用K*K中灰度可能。具体见fig3(a,b)所示。根据纹理周期加以选取，反应这些像素点对的4种位置关系位置关系，常用的如下表。对应4种灰度共生矩阵，组成一幅图像的灰度共生矩阵组。

           尺寸5*4的图像，灰度级为8，对应的0^o灰度共生矩阵：

         在使用灰度共生矩阵前往往会归一化，即所谓的NormalizedCo-occurrence Matrices。方法如下，N为灰度图像的尺寸。

2.2特征提取

     (1)灰度共生矩阵的性质

         直觉上来说，如果图像的是由具有相似灰度值的像素块构成，则灰度共生矩阵的对角元素会有比较大的值；如果图像像素灰度值在局部有变化，那么偏离对角线的元素会有比较大的值。

         通常可以用一些典型的标量来表征灰度共生矩阵的特征，令p表示灰度共生矩阵组的一个方向的灰度共生矩阵。常用以下四个特征表征图像的纹理。

            在实际中的性质如下：

        (2)灰度共生矩阵协方差的计算

             本文所提出的方法基于小波变换后对彩色图像的二阶(分解)统计线性表征(灰度共生矩阵)，但是由于么一个特征值表征检测区域的不同特性，我们因此应该考虑彩色channel间或者三种彩色信道类的不同的统计数据的协方差(协方差包含两种，一种是某一彩色通道内，一种是彩色通道间)

              纹理mainly related to the distribution of intensities。那么可以认为相近的纹理有相近的统计线性分布，因此他们应该有相近的featurevalue（F1,F2，F3等）。通过测量两个区域在纹理程度协方差(以0,45,90,135)四个方向为随机变量，测量两个区域的feature之间的协方差，以此来区分某种待测目标的纹理是不是和已知训练样本高度相关（模式识别）。纹理协方差见【29】。  

       Our method uses the covariance in order to rank the changes in the statistical distribution of the intensities between theexamined regions in the different color channels.

       基本的实现步骤如下：

         （1）将彩色图像I分解到三个彩色通道I¹,I²,I³。

         （2）对每个彩色通道进行三阶离散小波变换，如下图的方程进行recursive分解：

      得到n为分解等级。也就是得到一系列低分辨率的图像Lⁱ_n和细节图像(detail image) Dⁱ_l。实际上低分辨率图像(HH)包括全局信息，而细节图像（GH,HG,GG）包含局部信息也就是纹理信息。

      （3）这里考虑到纹理信息更加反应在middle wavelet detailchannel 上。因此使用了二阶系数来表征一个彩色通道，即仅仅将{Dⁱ_l ，l=4,5,6}的细节图像图像作下一步输入。

       这样每幅彩色图像产生3*3=9的图像set。

     （4）针对每个彩色通道的三幅图像，在0，45，90，135四个角度共产生12个灰度共生矩阵，这样3个通道共有36个矩阵。

     （5）对每个灰度共生矩阵采用标量F1,F2,F3,F4进行量化，共产生36*4=144个特征值，其中每个通道有48个小波值（wavelet value）,这里的C表示相应角度下产生的灰度共生矩阵集，F表示相应的灰度共生矩阵集下的标量集。

 

        (6)a为四个角度，也就是0,45,90,135。那么在单个彩色通道类共有3*l*m=36个 covariance 值，彩色通道之间也有36个值。We callthis set of the 72 components color wavelet covariance features, the CWCfeature vector. （CWC特征向量）。这样就得到一副彩色图像的72*1维特征向量。这个向量是用来分类的依据。

3.分类器的选择和实验

        (1)LDA

        (2)lib-SVM

            实验使用的图片主要是针对小的息肉组织。因为这些较小尺寸的胰腺状息肉组织，因为他们最难被追踪且最大可能恶性病变。The major interest for the tumor detection problem, as the expertshave suggested it, has led us to the use of video frames mainly of small sizeadenomatous polyps. Since they are not easily detectable, they are more commonand more likely to become malignant compared to thehyperplasic polyps。

          训练集所使用数据的来源：The training set comprised of 180 frame images (up to three framesper video sequence)shown by the experts group. The selection of the frame images to be incorporated in the training set has been very carefully performedby the experts group in order to minimize the bias introduced in the training procedure.

         实验的步骤主要基于两个条件，第一是分类器的选择，第二是如何让评价系统表现。