从caffe2 开源的代码中抽取 用于加载已训练神经网络参数,使用CPU进行预测的 部分代码,并运行成功一个预测模型

从caffe2 开源的代码中抽取 用于加载已训练神经网络参数,使用CPU进行预测的 部分代码,并运行成功一个预测模型

配置过程使用的资源来源及版本信息:

• pytorch 0.4.1
• protobuf 2.7.0
• openblas 0.3.5
• eigen 最新版
• opencv 4.0.1
• squeezenet & imagenet_classes

各个资源的用途:

• github 上开源了pytorch 的源码,其中的caffe2文件夹 是框架的核心.

  • 目前,官方github上只有v1.01和其他不知名的branch.
  • 当时选择v0.4.1的原因是:新版本的caffe2代码引用了caffe2文件夹以外的代码,并且代码组织方式混乱,头文件内经常找不到类的定义. 此外,v1.01版caffe2 甚至修改了部分变量的名字,与caffe2官网提供的api不匹配.

• protobuf是用于加载网络参数文件的接口.

  • protobuf 主要用来定义结构化数据,将数据序列化.
  • 可以用protobuf的语法快速定义数据格式并生成对应代码,支持c++,Javampython三种语言的api
  • protobuf提供的序列化和反序列化接口使得 它可以作为数据通信和数据存储的工具
  • protobuf序列化的速度和空间利用率很高,相比xml和json 具有性能上绝对的优势
  • protobuf 定义数据结构的语法很简单,一目了然,易于学习

• openblas和eigen 是用于高效数学计算的库,caffe2用到这两个库做底层数学计算

• opencv 主要用来读取和预处理图片,是边缘依赖

• 项目中运行的是squeezenet,使用了imagenet的分类结果

项目文件组织结构

-caffe2
    -core           /  最核心,最基础的部分.基本数据类型的定义,框架级的操作定义
    -operators      /   基本操作的定义,可按需增减.卷积,池化,交叉熵,dropout等
    -proto          / 定义一些重要的数据类型,如设备信息,网络结构,operator结构
    -utils          / 一些工具类.线程,数学计算,wrapper等
-Eigen          / 也可放在include文件夹内
-include
    -google
        -protobuf   / protobuf提供的接口
    -opencv2
-lib            / 链接库
init_net        /网络参数文件
predict_net     /网络结构定义文件
imagenet_classes.txt    /分类结果
imag.jpg        
demo.cpp        /用户代码

如果想使用不同版本的包,可按照包的功能更换文件夹和链接文件

对各个部分详细描述

protobuf和.proto文件

• caffe2使用了protobuf作为数据交互的媒介,caffe2/proto文件夹内的.proto文件定义了用户能接触到的最重要的数据定义.
• caffe2.proto文件的重要内容 参考博客

  syntax = "proto2";
  
  package = caffe2;
  // message相当于class 内部的定义和C++/Java类似
  // required 必须含这个值
  // optional 表示该值可有0或1个,repeated 表示该属性是可重复(数组/vector)
  // 后面的 = num 表示该属性的标识 编码时[1,15]占1个字节,[16,2047]占2字节
  enum DeviceType {
      CPU = 0;                    // In default, we will use CPU.
      CUDA = 1;                   // CUDA.
      MKLDNN = 2;                 // Reserved for explicit MKLDNN
      OPENGL = 3;                 // OpenGL
      OPENCL = 4;                 // OpenCL
      IDEEP = 5;                  // IDEEP.
      HIP = 6;                    // AMD HIP
      // Change the following number if you add more devices in the code.
      COMPILE_TIME_MAX_DEVICE_TYPES = 7;
      ONLY_FOR_TEST = 20901701;   // This device type is only for test.
  }
  message DeviceOption {
      optional int32 device_type = 1 [ default = 0 ]; // 0 is CPU.
      optional int32 cuda_gpu_id = 2;
      optional uint32 random_seed = 3;
      optional string node_name = 4;
      optional int32 numa_node_id = 5 [default = -1];
      repeated string extra_info = 6;
      optional int32 hip_gpu_id = 7;
  }
  
  message OperatorDef {
      repeated string input = 1; // the name of the input blobs
      repeated string output = 2; // the name of output top blobs
      optional string name = 3; // the operator name. This is optional.
      optional string type = 4;
      repeated Argument arg = 5;
      optional DeviceOption device_option = 6;
      optional string engine = 7;
      repeated string control_input = 8;
      optional bool is_gradient_op = 9 [default = false];
      optional string debug_info = 10;
  }
  // NetDef 是caffe2定义网络的完整类,一个参数文件就是一个NetDef对象序列化输出的结果
  message NetDef {
      optional string name = 1; // the network's name
      // Operators that the network contains.
      repeated OperatorDef op = 2;    // 可以从参数文件中查看该网络用到的所有Operator
      optional string type = 3;
      optional int32 num_workers = 4 [deprecated=true];
      optional DeviceOption device_option = 5;    //使用CPU device_type = 0
      repeated Argument arg = 6;
      repeated string external_input = 7;
      repeated string external_output = 8;
  }
  
  

• 参数文件有二进制和text两种,使用二进制的参数文件读写速度很快,二进制和text可以使用protobuf的接口进行转换.caffe2 model zool提供的是二进制的参数文件,将其转换为text可以看到网络的结构
• protobuf可以将proto语言定义的数据类型转换为代码.将protobuf安装包编译成可执行文件,以此进行转换.二进制文件的名字为protoc.exe
• 转化为C++的指令: protoc --cpp_out=./ caffe2.proto 第二个参数:输出目录,第三个参数: 输入文件
• 编译protobuf:在protobuf下载目录下的cmake文件夹内的README.md 详细描述了编译C++版本的方法,不同版本的protobuf有细微差别.
  • 大致过程:
  • 打开Visual Studio 本机命令提示符
  • cd cmake
  • mkdir build & cd build
  • mkdir release (debug)
  • cd release
  • cmake -G "NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=../../../../install ../.. 生成makefile
  • nmake 生成可执行文件和lib文件
  • nmake install 会在install文件夹内生成include , bin,lib文件夹
  • 详情看README.md

caffe2抽取文件的方法

• 首先认识到core,operator,util,proto文件夹是必要的
• core和util内的文件有很多的头文件引用,需要什么就找什么
• 不要加入不必要的文件 ,会造成额外的引用
• 看文件名的意义,推断文件的功能
• 编译出错误看源码,追踪需要的类 等
• operator中的方法是可拆卸的,首先选择最常见的操作直接加入,之后可以根据参数文件定义的操作名字选择添加

依赖的库文件汇总

• Release 版本如下,Debug版本将其替换为debug版库文件
• libprotobuf.lib
• libprotobuf-lite.lib
• libprotoc.lib // 三个都是编译protobuf获得
• openblas.lib // 编译openblas获得
• opencv_world401.lib //opencv 下载包内获得

编译openblas

• 参考博客
• 去openblas官网下载源文件
• Perl 编译过程需要,可能需要FQ
• 在openblas 文件夹内新建build文件夹
• 使用cmake-gui 选择openblas和输出文件夹build
• 点击configure,完成后点击generate就会在build文件夹内生成VS项目sln
• 使用VS打开sln文件,点击生成,VS会编译出对应版本的库文件和dll文件
• 不同版本的openblas可能有所不同,有的会生成dll而有的不会.生成了dll需要将dll文件放到exe文件夹内或者添加到环境变量.

配置eigen

• eigen是C++实现的矩阵运算库,没有任何依赖,只要包含头文件就可使用其功能
• 从eigen官网下载文件,将文件夹里的Eigen文件夹复制到项目的目录下,加入项目即可

配置opencv

• 下载opencv,将目录build/include内的opencv2文件夹复制到项目内
• 将build/x64/vc15/lib内的lib文件拷贝到项目内的lib目录下
• 这么做是为了使需要的资源都包括在项目内,当然可以通过配置项目包含目录和链接目录减少项目大小,但是,终归是要设置依赖,移植很麻烦

至此,项目中必须的文件获得方法都描述完成了,接下来介绍项目的配置要点

• 使用VS新建一个控制台项目
• 按照上述说明,将文件复制进项目内
• 在VS解决方案中,选择显示所有文件,右键这些文件夹,选择 包括在项目中
• 在项目属性页面,不管是配置release还是debug,32位或是64位,统一的配置是:
  • C/C++目录->常规->附加包含目录 添加./;./include;
  • 链接器->常规->链接库依赖项 添加./lib;
  • C/C++目录->常规->预处理器->预处理器定义 编辑,添加一行_CRT_SECURE_NO_WARNINGS
  • C/C++目录->常规->预编译头->设为不适用预编译头
• debug版本和release版本的不同配置:
  • C/C++ ->代码生成->运行库 release版本设为多线程(/MT),debug版本设为多线程调试(/MTD)
  • 注意链接器引入lib的版本,release版本链接release版本的lib库,如果引入错误会发生无法解析的字符或者运行时错误等.
  • 一定留意 链接器->输入->附加依赖项中的lib , 点击右面的下拉框->编辑查看其引用的所有lib文件
  • 先引入的lib文件会屏蔽后面同样作用的lib文件

参考示例代码C++ 预测(predict)Demo

• 代码中经测试无法正常工作的部分: ReadProtoFromFile ,从二进制文件读取参数失败,原因未知

• 修改方法:弃用ReadProtoFromFile(string , NetDef*),这个函数整合了ReadProtoFromBinaryFile 和 ReadProtoFromTextFile , 分开使用即可.

• 读取二进制参数文件可使用ReadProtoFromBinaryFile(string,NetDef*)

• 读取文本参数文件使用ReadProtoFromTextFile(string,NetDef*)

• protobuf 提供的原始读取参数接口 :

• 使用bool message.ParseFromIstream(istream* input)读取参数文件

• 使用bool SerializeToOstream(ostream* output)const 写入文件流

github代码

• lib文件没放全