OpenCV+dlib实现人脸关键点定位
本文基于OpenCV并利用dlib工具包实现了对传入图像的人脸关键点定位。
步骤：
- 首先需要对传入图像进行预处理操作，其次，利用dlib工具包对整张图像进行人脸检测，然后，对检测到的每一个人脸框利用dlib官方训练好的工具包:shape_predictor_68_face_landmarks.dat进行关键点定位，最后，绘制相应的区域。
(1)了解工具包
人脸关键点定位使用dlib官方训练好的工具包:shape_predictor_68_face_landmarks.dat 下载地址：http://dlib.net/files/
其中人脸关键点根据https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/网页的68关键点数据，索引如下图：
(2)加载人脸检测与关键点定位
detector = dlib.get_frontal_face_detector()#dlib正面人脸检测
predictor = dlib.shape_predictor(args["shape_predictor"])#关键点定位，传入68关键点模型
(3)数据预处理
# 读取输入数据，预处理
image = cv2.imread(args["image"])
(h, w) = image.shape[:2]
width=500
r = width / float(w)
dim = (width, int(h * r))
image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#灰度图
(4)人脸检测+关键点定位
先用人脸检测器获取到人脸矩形框rects，再用68点模型对人脸框进行关键点定位。最后将关键点标记出来，并提取ROI区域。
rects = detector(gray, 1)#检测人脸，多张人脸对应多个矩形框
# 遍历检测到的框（一张图可能有多个人脸）
for (i, rect) in enumerate(rects):
# 对人脸框进行关键点定位
# 转换成ndarray
shape = predictor(gray, rect)#传入处理后的输入图像以及指定好框的位置，返回关键点相对于人脸框的位置
shape = shape_to_np(shape)#转换成ndarray格式
# 遍历每一个部分
for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():#i,j相当于一个部分的区域，比如37-42表示左眼
clone = image.copy()
cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX,#cv2.FONT_HERSHEY_SIMPLEX字体效果
0.7, (0, 0, 255), 2)
# 根据位置画点
for (x, y) in shape[i:j]:
cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)
# 提取ROI区域
(x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))
roi = image[y:y + h, x:x + w]
(h, w) = roi.shape[:2]
width=250
r = width / float(w)
dim = (width, int(h * r))
roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)
# 显示每一部分
cv2.imshow("ROI", roi)
cv2.imshow("Image", clone)
cv2.waitKey(0)
#所调用函数
FACIAL_LANDMARKS_68_IDXS = OrderedDict([#按顺序取
("mouth", (48, 68)),#名字和区域
("right_eyebrow", (17, 22)),
("left_eyebrow", (22, 27)),
("right_eye", (36, 42)),
("left_eye", (42, 48)),
("nose", (27, 36)),
("jaw", (0, 17))
])
def shape_to_np(shape, dtype="int"):
# 创建68*2
coords = np.zeros((shape.num_parts, 2), dtype=dtype)
# 遍历每一个关键点
# 得到坐标
for i in range(0, shape.num_parts):
coords[i] = (shape.part(i).x, shape.part(i).y)#shape.part(i).x：第i个关键点的x坐标
return coords
总共有嘴巴、右眉毛、左眉毛、右眼、左眼、鼻子、脸颊七个部位，下图只截取开始和结尾两个结果。
(5)绘制所有区域
# 展示所有区域
output = visualize_facial_landmarks(image, shape)
cv2.imshow("Image", output)
cv2.waitKey(0)
def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
# 创建两个copy
# overlay and one for the final output image
overlay = image.copy()
output = image.copy()
# 设置一些颜色区域
if colors is None:
colors = [(0,65,255), (175,238,238), (230, 159, 23),
(168, 100, 168), (158, 163, 32),
(205,201,201), (180, 42, 220)]
# 遍历每一个区域
for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
# 得到每一个点的坐标
(j, k) = FACIAL_LANDMARKS_68_IDXS[name]
pts = shape[j:k]
# 检查位置
if name == "jaw":
# 用线条连起来
for l in range(1, len(pts)):
ptA = tuple(pts[l - 1])
ptB = tuple(pts[l])
cv2.line(overlay, ptA, ptB, colors[i], 2)
# 计算凸包
else:
hull = cv2.convexHull(pts)
cv2.drawContours(overlay, [hull], -1, colors[i], -1)
# 叠加在原图上，可以指定比例，alpha透明比例
cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
return output
