FPGA图像处理——数字识别

一、基于FPGA的数字识别方法

　　常见算法有：基于模版匹配的识别方法、基于BP 神经网络的识别方法、基于数字特征的识别方法等。

    1.模版匹配法

　　模版匹配法是一种被较早应用的数字识别算法，该算法的关键是对所要识别的所有数字进行模版构建，之后将图像中的数字与所有的数字模版一一进行比较，计算出图像中数字与每个模版的相似度，根据所计算出的相似度结果进行识别。其中相似度最高的模版即为我们所要识别的结果。模版匹配法的对数字的大小、结构形状的规范化程度要求很高，数字的规范化程度对识别的准确率有着直接的影响。该算法原理较为简单，但计算复杂度过大，同时不利于 FPGA 的实现。

    2.神经网络识别法

　　神经网络识别的方法是模仿动物神经网络的特征，对信息进行分布式并行处理的一种算法。神经网络识别算法具有一定的抗干扰能力，但为了保证识别的准确率，该算法需要负责并且大量的计算，来对神经网络进行训练，而过于复杂的计算不利于 FPGA 对该算法的实现。

    3.数字特征识别法

       基于数字特征的识别算法其核心是通过对数字的形状以及结构等几何特征进行分析与统计，通过对数字特征的识别从而达到对图像中数字的识别。

二、基于数字特征的数字识别

　　对于数字0~9，可通过两条水平特征线和一条垂直特征线来区分，如下图所示：

　　上图中红框是数字的上下左右边界。X1在竖直方向的 2/5 处的水平线，x2在竖直方向的 2/3 处的水平线，y在水平方的 1/2 处的水直线。我们以此特征来统计x1，x2，y与数字的交叉点。

以交叉统计法来区分0~9数字的特征如下表1：

 

 

　　由于2，3，5的数字特征统计表一样，无法区分所以我们继续增加数字特征以区分2，3，5。如表2：

【注】：不同字体的数字特征线位置x1和x2根据具体情况而定，而车牌中的数字是由黑体改变而来，这点需要测试找到合适画线位置。

三、Matlab实现数字识别

clear all;close all;clc;

I = imread('D:\FPGA\Test photo\num\5.jpg');
Ib =im2bw(I);
% Ib =~Ib;  %黑字白底和黑底白字模板相反

%---------------步骤1：找到字符上下左右边界--------------------- 
[ROW,COL] =size(Ib);
min_x=ROW;
max_x=0;
min_y=COL;
max_y=0;

for i=1:ROW
    for j=1:COL
        if Ib(i,j)==0 
            if(min_x>i)
                min_x = i;
            end
            if(max_x<i)
                max_x = i;
            end
            if(min_y>j)
                min_y = j;
            end
            if(max_y<j)
                max_y = j;
            end
        end
    end
end
 

%--------------- 步骤2：画特征线---------------
height = max_x - min_x;
x1 = round(min_x+height*2/6);
x2 = round(min_x+height*4/5);
width = max_y - min_y;
y = round(min_y + width*1/2);

for i=1:ROW
    for j=1:COL
      if(i >= min_x && i <= max_x)&&(j==min_y ||j==max_y || j==y)
          R(i,j,1)= 255;
          R(i,j,2)= 0;
          R(i,j,3)= 0;
      elseif(i == min_x || i == max_x || i ==x1 || i ==x2)&&(j>=min_y && j<=max_y)
          R(i,j,1)= 255;
          R(i,j,2)= 0;
          R(i,j,3)= 0;
      else
          R(i,j,1)= I(i,j,1);       %I(i,j,1)
          R(i,j,2)= I(i,j,2);
          R(i,j,3)= I(i,j,3);
      end
    end
end

figure;
imshow(R);

%---------------步骤3：统计特征信息---------------------

cross_y=0;
cross_x1_L=0;
cross_x1_R=0;
cross_x2_L=0;
cross_x2_R=0;

for i=1:ROW-1
    for j=1:COL-1
      if j == y && Ib(i,j)==1&&Ib(i+1,j)==0
          cross_y =cross_y+1;
      elseif i == x1 && Ib(i,j)==1&&Ib(i,j+1)==0
          if(j<y)
              cross_x1_L =cross_x1_L+1;
          elseif(j>y)
              cross_x1_R =cross_x1_R+1;
          end
      elseif i == x2 && Ib(i,j)==1&&Ib(i,j+1)==0
          if(j<y)
              cross_x2_L =cross_x2_L+1;
          elseif(j>y)
              cross_x2_R =cross_x2_R+1;
          end
      end
    end
end


%---------------步骤4：根据交点数匹配数字---------------
cross_x1=cross_x1_L+cross_x1_R;
cross_x2=cross_x2_L+cross_x2_R;

result=NaN;

if(cross_y==1)
    if(cross_x1==1 && cross_x2==1)
        result=1;
    end
elseif(cross_y==2)
    if(cross_x1==1 && cross_x2==1)
        result=7;
    elseif(cross_x1==2 && cross_x2==1)
        result=4;
    elseif(cross_x1==2 && cross_x2==2)
        result=0;
    end
elseif(cross_y==3)
    if(cross_x1==1 && cross_x2==2)
        result=6;
    elseif(cross_x1==2 && cross_x2==1)
        result=9;   
    elseif(cross_x1==2 && cross_x2==2)
        result=8;  
    elseif(cross_x1==1 && cross_x2==1)
        if(cross_x1_R==1 && cross_x2_L==1)
            result=2;
        elseif(cross_x1_R==1 && cross_x2_R==1)
            result=3;
        elseif(cross_x1_L==1 && cross_x2_R==1)
            result=5;    
        end
    end
end

display(result);

 Matlab结果：

 

 四、FPGA实现数字识别

 数字识别分四步：

　　1.字符边界选框。通过检测字符黑色像素来膨胀式包络出边界。注：此处需消耗一帧时间来检测，相邻两帧图像差别很小。

　　2.画特征线。根据前一帧的边界值得到两条水平特征线x1、x2和一条垂直特征线y。注：进行判断会消耗1clk，显示的行场同步信号需打一拍。

　　3.统计特征信息。对于交点数进行统计，由于背景（白）到字符（黑）存在01跳变，利用状态转移的方法来检测交点数。注：图像输入是经过处理后的黑白二值图，不存在噪声干扰。

　　4.根据特征信息匹配数字。对于数字2、3、5的检测进行了两层匹配。注：在一帧特征信息统计完后再利用寄存器寄存，对于想输出特征信息也方便显示。

完整代码如下：（代码中有详细注释）

//////////////////////////////////////////////////////////////////////////////////
// Create Date:    16:49:38 06/20/2021 
// Author Name:    yiquwange
// Module Name:    Digital_Rec 
// Project Name:   Image processing
// Target Devices: ALINX AX309
// Tool versions:  ISE14.7
// Description: 0~9 numeral recognition based on digital features
// Revision: 1.0
//////////////////////////////////////////////////////////////////////////////////

module Digital_Rec(
            input clk,
            input rst_n,
            input Y_de,
            input Y_hs,
            input Y_vs,
            input [10:0] hcount,    //行计数坐标
            input [10:0] vcount,    //场计数坐标
            input [7:0] Y_data,    //经二值化后的数据，数字黑色（8'd0），背景白色（8'd255），也可用1bit:0、1表示
            output DR_de,        //输出使能信号
            output DR_hs,        //行同步信号
            output DR_vs,        //场同步信号
            output reg [3:0] result,    //识别结果，用于数码管显示
            /*
            output reg [1:0] cross_y_r,        //中间测试用于数码管显示
            output reg [1:0] cross_x1_L_r,
            output reg [1:0] cross_x1_R_r,
            output reg [1:0] cross_x2_L_r,
            output reg [1:0] cross_x2_R_r,*/
            output reg [23:0] DR_data                            
            );
        
parameter ROW = 10'd272;    //图片高
parameter COL = 10'd480;    //图片宽


reg [3:0] result;
//特征线交点计数
reg [1:0] cross_y;
reg [1:0] cross_x1;
reg [1:0] cross_x2;
reg [1:0] cross_x1_L;
reg [1:0] cross_x1_R;
reg [1:0] cross_x2_L;
reg [1:0] cross_x2_R;

wire pos_vs;
wire neg_vs;
reg [10:0] min_x;
reg [10:0] max_x;
reg [10:0] min_y;
reg [10:0] max_y;
wire dis_en;
reg  dis_en_r;
wire dis_en_pos;
wire dis_en_neg;
wire     [10:0]    cnt_col;    //图片显示区域的行计数
wire     [10:0]    cnt_row;    //图片显示区域的场计数
reg     [10:0]    cnt_col_r;    
reg     [10:0]    cnt_row_r;    
assign cnt_col = hcount;    //这里如果图片尺寸小于显示屏尺寸可进行坐标转换
assign cnt_row = vcount;    
assign dis_en = Y_de;

always @(posedge clk or negedge rst_n)
    if(!rst_n)
        dis_en_r <= 0;
    else 
        dis_en_r <= dis_en;
        
assign    dis_en_pos = dis_en && !dis_en_r;    
assign    dis_en_neg = !dis_en && dis_en_r;

always @(posedge clk or negedge rst_n)
    if(!rst_n)
        Y_vs_r <= 0;
    else 
        Y_vs_r <= Y_vs;
        
assign    pos_vs = Y_vs && !Y_vs_r;    
assign  neg_vs = !Y_vs && Y_vs_r;


//第1帧，找到字符上下左右边界
always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        min_x <= ROW-1;        //初始时最小值赋值最大
        min_y <= COL-1;
        max_x <= 0;            //初始时最大值赋值最小
        max_y <= 0;            
    end
    else if(neg_vs) begin        
        min_x <= ROW-1;    
        min_y <= COL-1;
        max_x <= 0;
        max_y <= 0;
    end
    else if(dis_en && Y_data==0) begin    //检测到黑色字符开始更新边界
        if(min_x>cnt_row)                //检测原理类似单形体膨胀算法
            min_x <= cnt_row;
        else
            min_x <= min_x;
        if(max_x<cnt_row)
            max_x <= cnt_row;
        else
            max_x <= max_x;    
        if(min_y>cnt_col)
            min_y <= cnt_col;
        else
            min_y <= min_y;
        if(max_y<cnt_col)
            max_y <= cnt_col;
        else
            max_y <= max_y;    
    end
end


reg [10:0] min_x_r;
reg [10:0] max_x_r;
reg [10:0] min_y_r;
reg [10:0] max_y_r;

//帧同步锁存边框角点检测结果
always @(posedge clk or negedge rst_n)
    if(!rst_n)begin
        min_x_r <= 0;
        max_x_r <= 0;
        min_y_r <= 0;
        max_y_r <= 0;
    end
    else if(neg_vs)begin
        min_x_r <= min_x;
        max_x_r <= max_x;
        min_y_r <= min_y;
        max_y_r <= max_y;
    end


//得到特征线坐标
//画两横一竖三条线，第一条横线位于高度的2/5，第二条横线位于高度2/3处，
//竖线位于宽度的1/2，对这三条线与数字的交点个数及交点位置进行统计和分析
//reg [10:0] height;
//reg [10:0] width;
reg [10:0] x1;
reg [10:0] x2;
reg [10:0] y;

always@(posedge clk or negedge rst_n)begin
    if(!rst_n) begin
        x1 <= 0;
        x2 <= 0;
        y <= 0;
    end
    else if(pos_vs) begin
        x1 <= min_x_r+(max_x_r - min_x_r)*1/3;    //不建议这样写，多步操作应分时钟进行
        x2 <= min_x_r+(max_x_r - min_x_r)*4/5;    //复杂的乘除操作应借助IP核
        y <= min_y_r +(max_y_r - min_y_r)/2;
    end
end


//第2帧，画特征线定位 【1clk】
always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        DR_data <= {Y_data,Y_data,Y_data};
    end
    else if(dis_en) begin    //有效显示区域
        if((cnt_row >= min_x_r && cnt_row <= max_x_r)&&(cnt_col == min_y_r || cnt_col == max_y_r || cnt_col == y))    
            DR_data <= {8'hff,8'h0,8'h0};        //竖向红线
        else if((cnt_col >= min_y_r && cnt_col <= max_y_r)&&(cnt_row == min_x_r || cnt_row == max_x_r || cnt_row == x1 || cnt_row == x2))
            DR_data <= {8'hff,8'h0,8'h0};        //横向红线
        else
            DR_data <= {Y_data,Y_data,Y_data};    //其它区域不变
    end
    else 
        DR_data <= {Y_data,Y_data,Y_data};
end


//----------------------------------------------------------------------------
//----------------------    特征线交点检测    ----------------------------------
//设置一段式状态机来检测像素灰度值变化：
//背景(1)到背景(1)、背景(1)到数字(0)、数字(0)到数字(0)、数字(0)到背景(1)
parameter IDLE=4'd0,CHECK_LEFT=4'd1,LEFT=4'd2,CHECK_RIGHT=4'd3,RIGHT=4'd4;
parameter CHECK_UP=4'd5,UP=4'd6,CHECK_DOWN=4'd7,DOWN=4'd8;
reg [3:0] state_x1;        //x1特征线左右边沿状态
reg [3:0] state_x2;        
reg [3:0] state_y;        //y特征线上下边沿状态

always@(posedge clk or negedge rst_n)begin
    if( !rst_n)
        state_x1 <= IDLE;
    else if(dis_en && cnt_row == x1)begin    //x1特征线检测
        case(state_x1)
            IDLE:
                state_x1 <= Y_data ? CHECK_LEFT : CHECK_RIGHT;    //真（白色背景）假（黑色数字）
            CHECK_LEFT:
                state_x1 <= Y_data ? CHECK_LEFT : LEFT;
            LEFT:    
                state_x1 <= CHECK_RIGHT;
            CHECK_RIGHT:
                state_x1 <= Y_data ? RIGHT : CHECK_RIGHT;
            RIGHT:
                state_x1 <= CHECK_LEFT;
            default:
                state_x1 <= IDLE;
        endcase
    end
end

always@(posedge clk or negedge rst_n)begin
    if( !rst_n)
        state_x2 <= IDLE;
    else if(dis_en && cnt_row == x2)begin
        case(state_x2)
            IDLE:
                state_x2 <= Y_data ? CHECK_LEFT : CHECK_RIGHT;
            CHECK_LEFT:
                state_x2 <= Y_data ? CHECK_LEFT : LEFT;
            LEFT:    
                state_x2 <= CHECK_RIGHT;
            CHECK_RIGHT:
                state_x2 <= Y_data ? RIGHT : CHECK_RIGHT;
            RIGHT:
                state_x2 <= CHECK_LEFT;
            default:
                state_x2 <= IDLE;
        endcase
    end
end

always@(posedge clk or negedge rst_n)begin
    if( !rst_n)
        state_y <= IDLE;
    else if(dis_en && cnt_col == y)begin
        case(state_y)
            IDLE:
                state_y <= Y_data ? CHECK_UP : CHECK_DOWN;
            CHECK_UP:
                state_y <= Y_data ? CHECK_UP : UP;
            UP:    
                state_y <= CHECK_DOWN;
            CHECK_DOWN:
                state_y <= Y_data ? DOWN : CHECK_DOWN;
            DOWN:
                state_y <= CHECK_UP;
            default:
                state_y <= IDLE;
        endcase
    end
end


always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        cross_y <= 0;
        cross_x1 <= 0;
        cross_x2 <= 0;
    end
    else if(pos_vs) begin     //场同步上升沿特征交点计数清零
        cross_y <= 0;
        cross_x1 <= 0;
        cross_x2 <= 0;
    end
    else if(state_y==UP)    //也可以检测DOWN
        cross_y <= cross_y+1;
    else if(state_x1==LEFT) 
        cross_x1 <=cross_x1+1;       
    else if(state_x2==LEFT)    
        cross_x2 <=cross_x2+1;
    else begin
        cross_y <= cross_y;
        cross_x1 <= cross_x1;
        cross_x2 <= cross_x2;
    end
end


//因为状态转移会消耗1clk，行场计数打拍
always @(posedge clk or negedge rst_n)
    if(!rst_n)begin
        cnt_col_r <= 0;
        cnt_row_r <= 0;
        end
    else begin
        cnt_col_r <= cnt_col;
        cnt_row_r <= cnt_row;
        end


//水平特征线的左右区域检测，只用于检测数字2、3、5
always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        cross_x1_L <= 0;
        cross_x1_R <= 0;
        cross_x2_L <= 0;
        cross_x2_R <= 0;
    end
    else if(pos_vs) begin    //场同步上升沿特征交点计数清零
        cross_x1_L <= 0;
        cross_x1_R <= 0;
        cross_x2_L <= 0;
        cross_x2_R <= 0;
    end
    else if(cnt_row_r == x1) begin            //当扫描到水平特征线x1
        if(cnt_col_r<=y && state_x1==RIGHT)    //进行左右区域判断
            cross_x1_L <=cross_x1_L+1;       
        else if(cnt_col_r>=y && state_x1==LEFT)
            cross_x1_R <=cross_x1_R+1;
    end
    else if(cnt_row_r == x2) begin    
        if(cnt_col_r<=y && state_x2==RIGHT)
            cross_x2_L <=cross_x2_L+1;       
        else if(cnt_col_r>=y && state_x2==LEFT)
            cross_x2_R <=cross_x2_R+1;
    end    
    else begin
        cross_x1_L <= cross_x1_L;
        cross_x1_R <= cross_x1_R;
        cross_x2_L <= cross_x2_L;
        cross_x2_R <= cross_x2_R;
    end
end


//设置帧同步锁存器，当一帧结束后再更新特征交点数，便于数码管显示
always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        cross_y_r <= 0;
        cross_x1_L_r <= 0;
        cross_x1_R_r <= 0;
        cross_x2_L_r <= 0;
        cross_x2_R_r <= 0;
    end
    else if(pos_vs) begin
        cross_y_r <= cross_y;
        cross_x1_L_r <= cross_x1_L;
        cross_x1_R_r <= cross_x1_R;
        cross_x2_L_r <= cross_x2_L;
        cross_x2_R_r <= cross_x2_R;
    end
end


//根据特征交点数匹配相应数字
always@(posedge neg_vs)begin
    if(cross_y==1)begin
        if(cross_x1==1 && cross_x2==1)
            result=4'd1;
    end
    else if(cross_y==2)begin
        if(cross_x1==1 && cross_x2==1)
            result=4'd7;
        else if(cross_x1==2 && cross_x2==1)
            result=4'd4;
        else if(cross_x1==2 && cross_x2==2)
            result=4'd0;
    end
    else if(cross_y==3)begin
        if(cross_x1==1 && cross_x2==2)
            result=4'd6;
        else if(cross_x1==2 && cross_x2==1)
            result=4'd9;   
        else if(cross_x1==2 && cross_x2==2)
            result=4'd8;  
        else if(cross_x1==1 && cross_x2==1)begin
            if(cross_x1_R==1 && cross_x2_L==1)
                result=4'd2;
            else if(cross_x1_R==1 && cross_x2_R==1)
                result=4'd3;
            else if(cross_x1_L==1 && cross_x2_R==1)
                result=4'd5;    
        end
    end
    else
        result=4'd10;
end


//==========================================================================
//==    信号同步
//==========================================================================
reg Y_de_r;
reg Y_hs_r;
reg Y_vs_r;
always @(posedge clk or negedge rst_n) begin
    if(!rst_n) begin
        Y_de_r <= 'b0;
        Y_hs_r <= 'b0;
        Y_vs_r <= 'b0;
    end
    else begin  
        Y_de_r <= Y_de;
        Y_hs_r <= Y_hs;
        Y_vs_r <= Y_vs;
    end
end
//画特征线消耗1clk
assign DR_de = Y_de_r;    
assign DR_hs = Y_hs_r;    
assign DR_vs = Y_vs_r;    

endmodule

实验效果：

FPGA图像处理——数字识别

https://www.bilibili.com/video/BV1H44y1z7zf

　　算法原理网上到处都是，但是对于初学者更想有一份源码，经过独自摸索终于效果差强人意，现将代码分享给广大萌新以供参考，对于不足处请指正，谢谢！

 

参考资料：[1] Opens Lee：FPGA开源工作室（公众号）