基于Python3.7和opencv的人脸识别（含数据收集，模型训练）
前言
第一次写博客，有点紧张和兴奋。废话不多说，直接进入正题。如果你渴望使你的电脑能够进行人脸识别；如果你不想了解什么c++、底层算法；如果你也不想买什么树莓派，安装什么几个G的opencv；如果你和我一样是个还没入门的小白，但是想体验一下人脸识别的魅力。那么恭喜你，这篇文章就是为你准备的。让我们开始吧！
一、需要准备的材料
1.一台可以联网的有摄像头的电脑（手动滑稽）。
2.python3.7的安装包
二、Python3.7及其第三方包的安装
1.Python3.7的安装
关于python3.7的安装，网上有很多教程，请自行百度。
值得注意的是安装时勾选添加环境变量，如果不添加，也可以，但要自己输入相关文件的绝对路径。
2.第三方包的安装准备
2.0本文采用pip进行安装，若有过pip经验的可以跳过这个部分。
2.1在开始菜单栏搜索dos，然后回车启动命令提示符。
2.2在python3.7的Scripts文件夹中可以找到pip.exe。
2.3在命令提示符中输入Scripts文件夹的绝对路径
例：cd C:\\python3.7\Scripts
注：cd为Change directory,即更换目录，cd后有空格。
2.4更换目录成功后，输入pip.exe，启动pip，出现如下画面说明启动成功。
2.5 启动pip后，就可以开始安装Python的第三方包了，注意要让电脑联网。
3 第三方包的安装
3.1opencv 的安装，输入：pip install opencv-python。
注：numpy与OpenCV绑定安装，无需自己输入命令。
3.2 pillow的安装，输入： pip install pillow
注：pillow为图像处理包。
3.3 contrib的安装，输入：pip instal opencv-contrib-python
注：笔者在contrib的安装这里花费了一些时间，网上说的那些很麻烦的办法，让我看的云里雾里的。
contrib这个包用上面那个命令就可以安装，它是用于训练自己的人脸模型的一个OpenCV扩展包。
下图为三个包的安装过程截图，由于我之前已经安装过，会显示包已存在。首次安装会有进度条，成功后会有Successfully字样。
三、人脸识别的程序实现
1.FaceDetection,人脸检测
废话不多说，先上代码
1 import numpy as np 2 import cv2 3 4 # 人脸识别分类器 5 faceCascade = cv2.CascadeClassifier(r'C:\python3.7\Lib\site-packages\cv2\data\haarcascade_frontalface_default.xml') 6 7 # 识别眼睛的分类器 8 eyeCascade = cv2.CascadeClassifier(r'C:\python3.7\Lib\site-packages\cv2\data\haarcascade_eye.xml') 9 10 # 开启摄像头 11 cap = cv2.VideoCapture(0) 12 ok = True 13 14 while ok: 15 # 读取摄像头中的图像，ok为是否读取成功的判断参数 16 ok, img = cap.read() 17 # 转换成灰度图像 18 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 19 20 # 人脸检测 21 faces = faceCascade.detectMultiScale( 22 gray, 23 scaleFactor=1.2, 24 minNeighbors=5, 25 minSize=(32, 32) 26 ) 27 28 # 在检测人脸的基础上检测眼睛 29 for (x, y, w, h) in faces: 30 fac_gray = gray[y: (y+h), x: (x+w)] 31 result = [] 32 eyes = eyeCascade.detectMultiScale(fac_gray, 1.3, 2) 33 34 # 眼睛坐标的换算，将相对位置换成绝对位置 35 for (ex, ey, ew, eh) in eyes: 36 result.append((x+ex, y+ey, ew, eh)) 37 38 # 画矩形 39 for (x, y, w, h) in faces: 40 cv2.rectangle(img, (x, y), (x+w, y+h), (255, 0, 0), 2) 41 42 for (ex, ey, ew, eh) in result: 43 cv2.rectangle(img, (ex, ey), (ex+ew, ey+eh), (0, 255, 0), 2) 44 45 cv2.imshow('video', img) 46 47 k = cv2.waitKey(1) 48 if k == 27: # press 'ESC' to quit 49 break 50 51 cap.release() 52 cv2.destroyAllWindows()
注：1.人脸识别分类器的路径在不同的电脑上不同，一般来讲，在python3.7\Lib\site-packages\cv2\data中，注意是绝对路径，如果嫌目录太长，可以将分类器和程序放在一起。
注：2.经过我的慎重考虑，我决定不放出我的人脸，请各位读者自行尝试，大概就是一个蓝色的矩形框住你的脸，两个绿色的矩形框住你的眼睛，按esc可退出。
2.FaceDataCollect,人脸数据收集
还是先上代码
1 import cv2 2 import os 3 # 调用笔记本内置摄像头，所以参数为0，如果有其他的摄像头可以调整参数为1，2 4 5 cap = cv2.VideoCapture(0) 6 7 face_detector = cv2.CascadeClassifier('haarcascade_frontalface_default.xml') 8 9 face_id = input('\n enter user id:') 10 11 print('\n Initializing face capture. Look at the camera and wait ...') 12 13 count = 0 14 15 while True: 16 17 # 从摄像头读取图片 18 19 sucess, img = cap.read() 20 21 # 转为灰度图片 22 23 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 24 25 # 检测人脸 26 27 faces = face_detector.detectMultiScale(gray, 1.3, 5) 28 29 for (x, y, w, h) in faces: 30 cv2.rectangle(img, (x, y), (x+w, y+w), (255, 0, 0)) 31 count += 1 32 33 # 保存图像 34 cv2.imwrite("Facedata/User." + str(face_id) + '.' + str(count) + '.jpg', gray[y: y + h, x: x + w]) 35 36 cv2.imshow('image', img) 37 38 # 保持画面的持续。 39 40 k = cv2.waitKey(1) 41 42 if k == 27: # 通过esc键退出摄像 43 break 44 45 elif count >= 1000: # 得到1000个样本后退出摄像 46 break 47 48 # 关闭摄像头 49 cap.release() 50 cv2.destroyAllWindows()
注：1.在运行该程序前，请先创建一个Facedata文件夹并和你的程序放在一个文件夹下。
友情提示：请将程序和文件打包放在一个叫人脸识别的文件夹下。可以把分类器也放入其中。
注：2.程序运行过程中，会提示你输入id，请从0开始输入，即第一个人的脸的数据id为0，第二个人的脸的数据id为1，运行一次可收集一张人脸的数据。
注：3.程序运行时间可能会比较长，可能会有几分钟，如果嫌长，可以将 #得到1000个样本后退出摄像 这个注释前的1000，改为100。
如果实在等不及，可按esc退出，但可能会导致数据不够模型精度下降。
3.face_training,人脸数据训练
1 import numpy as np 2 from PIL import Image 3 import os 4 import cv2 5 # 人脸数据路径 6 path = 'Facedata' 7 8 recognizer = cv2.face.LBPHFaceRecognizer_create() 9 detector = cv2.CascadeClassifier("haarcascade_frontalface_default.xml") 10 11 def getImagesAndLabels(path): 12 imagePaths = [os.path.join(path, f) for f in os.listdir(path)] # join函数的作用？ 13 faceSamples = [] 14 ids = [] 15 for imagePath in imagePaths: 16 PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale 17 img_numpy = np.array(PIL_img, 'uint8') 18 id = int(os.path.split(imagePath)[-1].split(".")[1]) 19 faces = detector.detectMultiScale(img_numpy) 20 for (x, y, w, h) in faces: 21 faceSamples.append(img_numpy[y:y + h, x: x + w]) 22 ids.append(id) 23 return faceSamples, ids 24 25 26 print('Training faces. It will take a few seconds. Wait ...') 27 faces, ids = getImagesAndLabels(path) 28 recognizer.train(faces, np.array(ids)) 29 30 recognizer.write(r'face_trainer\trainer.yml') 31 print("{0} faces trained. Exiting Program".format(len(np.unique(ids))))
注：1.第8行的LBPHFaceRecognizer_create()为contrib中的函数，笔者之前自己摸索时，没有安装此包，因此卡了很久，印象深刻。
注：2.运行该程序前，请在人脸识别文件夹下创建face_trainer文件夹。
4.face_recognition 人脸检测
1 import cv2 2 3 recognizer = cv2.face.LBPHFaceRecognizer_create() 4 recognizer.read('face_trainer/trainer.yml') 5 cascadePath = "haarcascade_frontalface_default.xml" 6 faceCascade = cv2.CascadeClassifier(cascadePath) 7 font = cv2.FONT_HERSHEY_SIMPLEX 8 9 idnum = 0 10 11 names = ['Allen', 'Bob'] 12 13 cam = cv2.VideoCapture(0) 14 minW = 0.1*cam.get(3) 15 minH = 0.1*cam.get(4) 16 17 while True: 18 ret, img = cam.read() 19 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 20 21 faces = faceCascade.detectMultiScale( 22 gray, 23 scaleFactor=1.2, 24 minNeighbors=5, 25 minSize=(int(minW), int(minH)) 26 ) 27 28 for (x, y, w, h) in faces: 29 cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2) 30 idnum, confidence = recognizer.predict(gray[y:y+h, x:x+w]) 31 32 if confidence < 100: 33 idnum = names[idnum] 34 confidence = "{0}%".format(round(100 - confidence)) 35 else: 36 idnum = "unknown" 37 confidence = "{0}%".format(round(100 - confidence)) 38 39 cv2.putText(img, str(idnum), (x+5, y-5), font, 1, (0, 0, 255), 1) 40 cv2.putText(img, str(confidence), (x+5, y+h-5), font, 1, (0, 0, 0), 1) 41 42 cv2.imshow('camera', img) 43 k = cv2.waitKey(10) 44 if k == 27: 45 break 46 47 cam.release() 48 cv2.destroyAllWindows()
注：1. 11行的names中存储人的名字，若该人id为0则他的名字在第一位，id位1则排在第二位，以此类推。
注：2. 最终效果为一个绿框，框住人脸，左上角为红色的人名，左下角为黑色的概率。
四、结语，参考文献，与扩展阅读
1.结语
真是不容易啊，第一次写博客，终于写完了。说一说初衷吧，当初我本想做一个电脑的人脸解锁。我的想法是，手机都有人脸解锁，电脑也可以做。
但我认为，我并不能真的实现，一是我不知道怎样锁住电脑，虽然我可以用python的easygui去模仿一个登陆界面，输入密码解锁，然而，我清楚，
我并不能真正的锁住电脑，所以我就放弃了这个计划。如果有大神可以做到，请务必在评论区留言，我迫切的希望知道该怎样做。
说一说我写这篇博客的目的吧，我当初一路走来，在网上搜到的大多是CSDN上的博客，且大多为人脸检测，并没有人脸识别，数据收集和模型训练。
仅有的几篇也都讲得云里雾里，实在水平有限，看不懂。于是，我萌生了写一篇给小白看的人脸识别的博客的想法，本来打算在csdn上写，
但由于种种原因，我选择了博客园。
2.参考文献与扩展阅读
在这里，我要感谢树莓派实验室的一篇文章，我的大部分代码都来源于此，对想要做深入了解的读者，可以参考此文，以下是链接
在此以一个问题结尾，为什么网上没有详细的关于如何在电脑上实现人脸识别的教程，而却有在树莓派上的详细教程呢？这不是上升了一个门槛吗？
也许是我没找到？这是我写这篇教程的初衷之一。
