NCNN使用总结

目录

• NCNN简介
• NCNN注意事项
• NCNN使用心得
  • 小技巧
  • 小想法

NCNN简介

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，天天P图等。

关于安装、编译、使用步骤等不在赘述，官网有很详细文档

	Windows	Linux	MacOS	Android	iOS
intel-cpu	✔️	✔️	✔️	❔	/
intel-gpu	✔️	✔️	❔	❔	/
amd-cpu	✔️	✔️	✔️	❔	/
amd-gpu	✔️	✔️	❔	❔	/
nvidia-gpu	✔️	✔️	❔	❔	/
qcom-cpu	❔	✔️	/	✅	/
qcom-gpu	❔	✔️	/	✔️	/
arm-cpu	❔	❔	/	✅	/
arm-gpu	❔	❔	/	✔️	/
apple-cpu	/	/	/	/	✅
apple-gpu	/	/	/	/	✔️

---

NCNN注意事项

其实ncnn已经是一个完整的库，很少有人去改源码，当然如果你项目特别需要使可以的。

使用出现问题主要是输入和输出的地方不对应，以下是本人使用出现的问题。

• 网络问题一

使用caffe模型的时候，input部分一定要写成规范格式：

input: "data"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 1 dim: 1 dim: 256 dim: 512 } }
}

千万别图省事写成如下格式，caffe可以运行没问题，但是转化无法识别，这个ncnn数据结构导致！！！

input: "data"
input_dim: 1
input_dim: 1
input_dim: 256
input_dim: 512

• 网络问题二

网络定义的层千万别出现重复情况，一定要规范定义：

layer {
  name: "AAAA"
  type: "Concat"
  bottom: "box_softmax"
  bottom: "conv6_2"
  top: "concat_out1"
  concat_param {
    axis: 2
  }
}
layer {
  name: "BBBB"
  type: "Concat"
  bottom: "box_softmax"
  bottom: "concat_out1"
  top: "concat_out2"
  concat_param {
    axis: 2
  }
}

千万别写成如下网络，在caffe可以稳定运行，但是ncnn会读取上第一次出现的top层！！！

第一层输出是concat_out1,第二层输出也是concat_out1，当使用ncnn.extract会出现错误！！！

layer {
  name: "AAAA"
  type: "Concat"
  bottom: "box_softmax"
  bottom: "conv6_2"
  top: "concat_out1"
  concat_param {
    axis: 2
  }
}
layer {
  name: "BBBB"
  type: "Concat"
  bottom: "box_softmax"
  bottom: "concat_out1"
  top: "concat_out1"
  concat_param {
    axis: 2
  }
}

• NCNN网络问题三

这貌似是算作caffe的问题，在笔者使用的过程忽略了这一点，干脆算NCNN操作里面了。

Batch Normalization层有个use_global_stats参数，这个操作的作用是：是否使用caffe内部的均值和方差

换句话的意思就是:

---------true ：使用caffe内部的均值和方差，其中方差和均值都是固定的，模型训练好之后，这两个值就固定了。
---------false ：使用当前层计算的方差和均值，这个是不固定的，是在训练过程一直改变，训练好的时候达到最优。

其中NCNN默认使用true状态，不管是false还是true，最终都是算作true

caffe测试的时候得手动设置为true

• NCNN输入数据一

正常来说ncnn和caffe原版的误差范围在0.001左右，我的数据在0.000X范围徘徊，如果你的数据精确不到第三个有效数字，那就得检查网络输入精度了。

输入的substract_mean_normalize得尽量精确，尤其是归一化的值！！！

假设0-255的图像需要归一化到0-1：

const float noml_vals[1] = { 0.0078431372549019607843137254902f };

千万不要写成下面这样，读者可以自己测试，精度差别较大。

const float noml_vals[1] = { 0.0078 }

• NCNN输入数据二

这里没有错误点，只有心得点。

1. 如果输入的是opencv的Mat对象，那只能是CV_8U类型，别想着去使用CV_32F等其他类型，对结果没有影响的。
2. 关于使用opencv的处理图像和ncnn的处理图像效果一样，比如opencv的resize、normalize、cvtcolor等函数，和ncnn的from_pixels_resize、substract_mean_normalize效果基本没有区别，本人已经测试。

NCNN使用心得

小技巧

• 输出为多层

看了NCNN的官网给的例子，它是将输出转化为一行数据，然后一个一个的进行处理：

ncnn::Mat out_flatterned = out.reshape(out.w * out.h * out.c);
std::vector<float> scores;
scores.resize(out_flatterned.w);
for (int j=0; j<out_flatterned.w; j++)
{
    scores[j] = out_flatterned[j];
}

个人感觉使用这种处理小数据还是可以的，本人使用网络输出100 × 100 × 10，这种情况该如何处理？

1. 你可以使用那种方法去一个一个保存到数组，就是浪费点时间。
2. 当你需要处理结果的时候呢？比如简单说去找每个channels的最大值，且主要知道坐标？

本人使用处理如下：

	for (size_t i = 0; i < out.c; i++)
	{
		cv::Mat cv_mat = cv::Mat::zeros(cv::Size(100, 100), CV_8UC1);
		ncnn::Mat ppp = out.channel(i);
         //转化为opencv的Mat进行操作，因为有很多矩阵运算就很方便
		ppp.to_pixels(cv_mat.data, ncnn::Mat::PIXEL_GRAY);
		double max_c = 0, min_c = 0;
		cv::Point min_loc, max_loc;
		cv::minMaxLoc(cv_mat, &min_c, &max_c, &min_loc, &max_loc);
		/*---------------后续操作-----------------*/
	}

小想法

NCNN官网有个人问能不能输入和输出多个通道数据，后者已经在上文实现，以下看前者。

• NCNN的输入为Extractor.input(const char* blob_name, const Mat& in),其中in是ncnn::Mat类型数据，显然是

  可以多个channels输入的。

• 可以使用ncnn创建100×100×10数据，然后对每个channel通过from_pixel进行赋值操作即可。

没有经过具体实现，官网也没说明，不清楚能不能行，读者可以根据以上自己尝试。