使用TransferLearning实现环视图像的角点检测——Tensorflow+MobileNetv2_SSD
环境说明
- 依赖环境安装eIQ官方指南：
name: eiq_auto
channels:
- conda-forge
- defaults
dependencies:
- numpy=1.18.1=py36h4f9e942_0
- onnx==1.6.0
- opencv==4.2.0
- pandas=0.24.2=py36he6710b0_0
- pillow=7.0.0=py36hb39fc2d_0
- protobuf=3.9.2=py36he6710b0_0
- pytest=5.3.0=py36_0
- python=3.6.10=h0371630_0
- tensorflow=1.14.0=mkl_py36h2526735_0
pip:
- onnxruntime==1.0.0
==================================================================================
1.安装tensorflow object detection API
- 参考链接 [https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/installation.md]
- ubuntu16.04使用如下命令安装依赖库：
sudo apt-get install protobuf-compiler python-pil python-lxml python-tk
pip install --user Cython
pip install --user contextlib2
pip install --user jupyter
pip install --user matplotlib
- 下载models
git clone https://github.com/tensorflow/models.git
- 安装cocoAPI
pip install --user pycocotools
- 使用Protobuf Compilation
protoc object_detection/protos/*.proto --python_out=.
- 添加到PYTHONPATH
# From tensorflow/models/research/
export PYTHONPATH=$PYTHONPATH:/mnt/d/0-WORK/models/models-master/research:/mnt/d/0-WORK/models/models-master/research/slim
source ~/.bashrc
- 注意以上绝对路径填正确
- 测试是否完成
python object_detection/builders/model_builder_tf1_test.py
- 如果出现以下结果表示API已成功安装：
2.使用mobilenetV2_SSD进行训练和预测
官方使用的版本（ssd_mobilenet_v2_coco_2018_03_29）
- 首先使用以下flowchart帮助理解transferLearning
- step1：进入Model目录，执行如下命令：
cd models/research/
python setup.py build
python setup.py install
- step2：配置model并进行训练，首先在object_detection/目录下创建目录ssd_model：
将下载好的model解压后放在自定义路径下（如object_detection/ssd_model/），下载链接[http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz]
mobileNetv2_SSD使用tfrecord格式的数据进行训练，数据集是使用labelImg工具进行标注的xml格式，需要完成xml转csv再转为record文件。数据集转换工具详见datitran：[https://github.com/datitran/raccoon_dataset]
把制作好的数据集tfrecords放在路径下（制作步骤详见文末）。复制训练数据用到的文件，我们在这个基础上修改配置，训练我们的数据.coco数据集共有90个class。我们在APA数据标注中使用了3个class，因此打开配置文件ssd_mobilenet_v2_coco.config.需要修改的内容如下：
./object_detection/ssd_model/data
cp object_detection/data/mscoco_label_map.pbtxt object_detection/ssd_model/ cp object_detection/samples/configs/ssd_mobilenet_v2_coco.config object_detection/ssd_model/
# 修改ssd_mobilenet_v2_coco.config
num_classes: 3 # 自定义的class数目
num_steps: 200000 # 设置多少个step后停止，可以mark此行不使用，loss值没有持续下降，可以CTRL-C停止
batch_size: 8 # 根据算力设置
fine_tune_checkpoint：/mnt/.../ssd_model/mobilenet_v2_1.4_224/model.ckpt # 上述step中下载的 pre-trained model path，最后固定接上mode.ckpt
train_input_reader: {
tf_record_input_reader {
input_path: "/mnt/.../ssd_model/data/train.record"
# 之前dataset产生的TFRecord train.record路径
eval_input_reader: {
tf_record_input_reader {
input_path: "/mnt/.../ssd_model/data/test.record"
# 之前dataset产生的TFRecord test.record路径
label_map_path:"/mnt/.../ssd_model/data/mscoco_label_map.pbtxt" # 注意train和eval两处都需要更改.
- step3：训练开始，新版的API中train.py在legacy目录下，先把它copy到research下。
回到research目录下 执行
python train.py --logtostderr --train_dir=training/ --pipeline_config_path=ssd_model/data/ssd_mobilenet_v2_coco.config
训练过程如下 （没有GPU时间会比较长，可以在观察到loss不再下降的时候CTRL+C停止训练）
训练完成后，结果会在-–train_dir指定的path下：
- step4：模型效果评估：
我们使用tensorboard工具查看训练效果。首先browser打开tensorbord的address，即可看到training及validate的信息：
执行以下命令(=后添加刚刚训练的路径)
tensorboard --logdir=/mnt/d/0-WORK/models/models-master/research/training
成功打开会出现以下地址：
将地址复制粘贴到浏览器中即可看到训练可视化结果：http://desktop-0vqus2j:6006/#scalars
- step5： 使用eavl.py查看在验证集上的效果
- step6：保存模型：
python object_detection/export_inference_graph.py --pipeline_config_path=/mnt/d/0-WORK/models/models-master/research/object_detection/ssd_model/data/ssd_mobilenet_v2_coco.config --trained_checkpoint_prefix=/mnt/d/0-WORK/models/models-master/research/training/model.ckpt-77133 --output_directory /mnt/d/0-WORK/models/models-master/research/training/
执行完毕后出现：
OK，得到pb模型啦。
Model_output
- saved_model
- saved_model.pb
- checkpoint
- frozen_inference_graph.pb # Main model
- model.ckpt.data-00000-of-00001
- model.ckpt.index
- model.ckpt.meta
- pipeline.config
保存前述data中的mscoco_label_map.pbtxt和本步骤中的frozen_inference_graph.pb，后续使用。
- step7：使用训练好的模型进行预测：
使用如下脚本进行单帧图片检测：
# test.py
import numpy as np
import tensorflow as tf
import cv2 as cv
model_path = "/mnt/d/0-WORK/models/models-master/research/training/frozen_inference_graph.pb"
pbtxt_path = "/mnt/d/0-WORKmodels/models-master/research/object_detection/ssd_model/data/mscoco_label_map.pbtxt"
testimg = "/mnt/d/0-WORK/models/models-master/research/testing/114.jpg"
# Read the graph.
#with tf.compat.v1.gfile.FastGFile(model_path, 'rb') as f:
# graph_def = tf.compat.v1.GraphDef()
# graph_def.ParseFromString(f.read())
with tf.gfile.FastGFile(model_path, 'rb') as f:
graph_def = tf.GraphDef()
graph_def.ParseFromString(f.read())
with tf.Session() as sess:
# Restore session
sess.graph.as_default()
tf.import_graph_def(graph_def, name='')
# Read and preprocess an image.
img = cv.imread(testimg)
rows = img.shape[0]
cols = img.shape[1]
inp = cv.resize(img, (450, 450))
inp = inp[:, :, [2, 1, 0]] # BGR2RGB
# Run the model
out = sess.run([sess.graph.get_tensor_by_name('num_detections:0'),
sess.graph.get_tensor_by_name('detection_scores:0'),
sess.graph.get_tensor_by_name('detection_boxes:0'),
sess.graph.get_tensor_by_name('detection_classes:0')],
feed_dict={'image_tensor:0': inp.reshape(1, inp.shape[0], inp.shape[1], 3)})
# Visualize detected bounding boxes.
num_detections = int(out[0][0])
for i in range(num_detections):
classId = int(out[3][0][i])
score = float(out[1][0][i])
bbox = [float(v) for v in out[2][0][i]]
if score > 0.5:
x = bbox[1] * cols
y = bbox[0] * rows
right = bbox[3] * cols
bottom = bbox[2] * rows
cv.rectangle(img, (int(x), int(y)), (int(right), int(bottom)), (125, 255, 51), thickness=2)
print(classId, "-->", score, x, y)
cv.imwrite('/mnt/d/0-WORK/models/models-master/research/testing/result_114.jpg', img)
cv.waitKey()
效果如下：
- step7: 模型评测
附：voc转tfrecord
参考博文
