第7次系统综合实践 20组
一、在树莓派上安装OpenCV库
安装依赖
# 更新软件源和软件
sudo apt-get update && sudo apt-get upgrade
#cmake开发者工具
sudo apt-get install build-essential cmake pkg-config
# 图片I/O包
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
# 视频I/O包
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev$ sudo apt-get install libxvidcore-dev libx264-dev
# 安装GTK
sudo apt-get install libgtk2.0-dev libgtk-3-dev
# 安装性能优化包
sudo apt-get install libatlas-base-dev gfortran
# 安装python
sudo apt-get install python2.7-dev python3-dev
下载OpenCV源码
根据教程使用的是OpenCV3.3.0版本
cd ~
wget -O opencv.zip https://github.com/Itseez/opencv/archive/3.3.0.zip
unzip opencv.zip
wget -O opencv_contrib.zip https://github.com/Itseez/opencv_contrib/archive/3.3.0.zip
unzip opencv_contrib.zip
安装pip和python虚拟机
- 安装pip
# 安装pip
wget https://bootstrap.pypa.io/get-pip.py
sudo python get-pip.py
sudo python3 get-pip.py
- 安装python虚拟机
# 安装python虚拟机
sudo pip install virtualenv virtualenvwrapper
sudo rm -rf ~/.cache/pip
# 配置 ~/.profile,添加以下内容:
# virtualenv and virtualenvwrapper
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh
# 使之生效
source ~./profile
# 创建cv虚拟环境
mkvirtualenv cv -p python3
# 进入虚拟机
workon cv #重新进入前要先执行source ~./profile
# 命令行前面是否有(cv),以此作为是否在虚拟机的判断
- 安装numpy
pip install numpy
编译OpenCV
- 准备工作
cd ~/opencv-3.3.0/
mkdir build
cd build
# 设置cmake构建选项
cmake -D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local \
-D INSTALL_PYTHON_EXAMPLES=ON \
-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-3.3.0/modules \
-D BUILD_EXAMPLES=ON ..
- 编译前,需要增大交换空间CONF_SWAPSIZE=1024,避免内存不足
sudo nano /etc/dphys-swapfile #虚拟机中sudo才可以修改
# 重启swap服务
sudo /etc/init.d/dphys-swapfile stop
sudo /etc/init.d/dphys-swapfile start
- 开始编译
make j4
编译成功
- 安装OpenCV
sudo make install
sudo ldconfig
- 检查OpenCV安装位置,并建立软链
ls -l /usr/local/lib/python3.7/site-packages/ #查看cv2
cd ~/.virtualenvs/cv/lib/python3.7/site-packages/
ln -s /usr/local/lib/python3.7/site-packages/cv2.cpython-37m-arm-linux-gnueabihf.so cv2.so #建立软链
在建立软链过程中有可能会失败,或者直接将/usr/local/lib/python3.7/site-packages/下的cv2利用mv命令移动到~/.virtualenvs/cv/lib/python3.7/site-packages/目录下,命令如下:
sudo mv /usr/local/lib/python3.7/site-packages/cv2.cpython-37m-arm-linux-gnueabihf.so ~/.virtualenvs/cv/lib/python3.7/site-packages/cv2.so
验证安装
source ~/.profile
workon cv
python
import cv2
cv2.__version__ #查看cv2版本
二、使用opencv和python控制树莓派的摄像头
picamera模块安装
- 开启虚拟机(以下操作都在虚拟机中进行)
- 安装picamera
pip install "picamera[array]"
在Python代码中导入OpenCV控制摄像头
- 拍照测试
# import the necessary packages
from picamera.array import PiRGBArray
from picamera import PiCamera
import time
import cv2
# initialize the camera and grab a reference to the raw camera capture
camera = PiCamera()
rawCapture = PiRGBArray(camera)
# allow the camera to warmup
time.sleep(3) #此处把0.1改成了3
# grab an image from the camera
camera.capture(rawCapture, format="bgr")
image = rawCapture.array
# display the image on screen and wait for a keypress
cv2.imshow("Image", image)
cv2.waitKey(0)
三、利用树莓派的摄像头实现人脸识别
- 在前面创建的python虚拟环境cv中安装dlib和face_recognition
pip install dlib
pip install face_recognition
验证是否安装成功:
- 运行facerec_on_raspberry_pi.py(参考GitHub仓库)
将python文件和需要的图片放在同一个文件夹中,在虚拟机中运行,运行结果如下:
- 运行facerec_from_webcam_faster.py
该代码可以实时显示当前识别的人脸信息,运行结果如下:
四、结合微服务的进阶任务(使用OpenCV的docker容器运行人脸识别代码)
使用微服务,部署opencv的docker容器(要能够支持arm)
- 准备工作
#退出python虚拟机
deactivate
#脚本安装docker
sudo curl -sSL https://get.docker.com | sh
#填加用户到docker组
sudo usermod -aG docker pi
#重新登陆以用户组生效
exit && ssh pi@raspiberry
#验证docker版本
docker --version
- 拉取镜像(支持arm)
sudo docker pull sixsq/opencv-python
- 进入容器并安装所需依赖
docker run -it [imageid] /bin/bash
pip install "picamera[array]" dlib face_recognition
- commit更新容器建立新的镜像
docker commit [containerid] [自定义镜像名]
- 编写dockerfile文件构建镜像
dockerfile文件:
FROM my-opencv
MAINTAINER GROUP20
RUN mkdir /workspace
WORKDIR /worksapce
COPY /workspace .
构建镜像:
sudo docker build myopencv .
- 构建成功后,运行容器
docker run -it --device=/dev/vchiq --device=/dev/video0 myopencv myopencv
- 运行facerec_on_raspberry_pi.py
python3 facerec_on_raspberry_pi.py
选做:在opencv的docker容器中跑通步骤(3)的示例代码facerec_from_webcam_faster.py
-
在Windows系统中安装XMing
-
启动putty
-
查看DISPLAY环境变量值
-
编辑并启动脚本run.sh
xhost + #允许来自任何主机的连接
docker run -it \
--rm \
-v ${PWD}/workdir:/worksapce \
--net=host \
-v $HOME/.Xauthority:/root/.Xauthority \
-e DISPLAY=:0.0 \ #此处填写上面查看到的变量值
-e QT_X11_NO_MITSHM=1 \
--device=/dev/vchiq \
--device=/dev/video0 \
myopencv \
recognition.py
- 执行脚本sh run.sh
五、遇到的问题已解决方案
问题1:安装虚拟机时报错,错误如下图:
解决方案:在~./profile中追加两句:
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export VIRTUALENVWRAPPER_ENV_BIN_DIR=bin
问题2:编译过程中没有hpp类文件,如下图:
解决方案:其实这个文件是存放在opencv-contrib目录下的,打开报错文件路径,将其hpp文件路径改为绝对路径
sudo nano /home/pi/opencv-3.3.0/modules/stitching/include/opencv2/stitching/detail/matchers.hpp
#include "opencv2/xfeatures2d/cuda.cpp"
//改为以下一句
#include "/.../opencv_contrib-3.3.0/modules/xfeatures2d/include/opencv2/xfeatures2d/cuda.cpp"
之后的hpp文件也是以上的方法,后面不在赘述
问题3:编译OpenCV过程中报错没有定义AVFMT_PAWPICTURE,如下图:
解决方案:找到报错文件路径,编译文件,在文件顶部添加以下内容:
#编辑文件
sudo nano /home/pi/opencv-3.3.0/modules/videoio/src/cap_ffmpeg_impl.hpp
##添加以下内容
#define AV_CODEC_FLAG_GLOBAL_HEADER (1 << 22)
#define CODEC_FLAG_GLOBAL_HEADER AV_CODEC_FLAG_GLOBAL_HEADER
#define AVFMT_RAWPICTURE 0x0020
问题4:找不到boostdesc_bgm.i文件
解决方案:在本机直接下载该文件,将这些文件复制到树莓派的/home/pi/opencv/opencv_contrib-3.3.0/modules/xfeatures2d/src目录中即可。
参考博客,里面附带资源
问题5:char转换错误,此处忘记截图
解决方案:打开错误文件,修改代码
问题6:在安装OpenCV后创建软链失败,导致验证结果错误
解决方案:直接将CV2文件移到相应的目录下即可。
问题7:在pip install face_recognition时下载的非常慢,还一直报网络错误
解决方案:在本机打开终端下载时显示的网站下载相应的文件,然后再复制保存到相应的文件夹安装即可。
问题8:树莓派无法连接WiFi,这个真的是把我们给坑惨了[吐血]
解决方案:搞了一下午,才发现是电源没有接好,原来电源没有接好是会影响树莓派联网??所以,下次得记得一定要接好电源。
问题9:在commit镜像是显示空间不足,错误如下图:
解决方案:删除了一些垃圾,空出来了200多M的空间,得以解决。
六、团队协作分工
分工
学号 | 姓名 | 各自贡献 |
---|---|---|
031702301 | 王瑞卿 | 查阅资料,编写部分博客 |
031702312 | 鲍冰如 | 实际操作树莓派 |
031702313 | 周丽榕 | 查阅资料,编写部分博客 |