人脸识别
最近在做一款商户入网的应用，为防止不法商户对公司渠道的接入，公司加大了对商户的审核，人脸识别就是其中的一项。人脸识别的第一步是检测商户的张嘴动作，通过之后采集照片，上传到服务器。第二步是检测商户的摇头动作，通过之后采集照片，上传到服务器。至此完成人脸识别。下面我对主干代码进行分析：
首先导入jar包Msc(讯飞)。检测人脸关键部位的坐标
private void setFaceDetection() { mThread = new Thread(new Runnable() { @Override public void run() { List<Object> previewDate = CameraInterface.getInstance() .getPreviewDate(); buffer = (byte[]) previewDate.get(0); nv21 = (byte[]) previewDate.get(1); while (!mStopTrack) { if (null == nv21) { continue; } synchronized (nv21) { System.arraycopy(nv21, 0, buffer, 0, nv21.length); } // 获取手机朝向，返回值0,1,2,3分别表示0,90,180和270度 int direction = Accelerometer.getDirection(); boolean frontCamera = (Camera.CameraInfo.CAMERA_FACING_FRONT == mCameraId); // 前置摄像头预览显示的是镜像，需要将手机朝向换算成摄相头视角下的朝向。 // 转换公式：a' = (360 - a)%360，a为人眼视角下的朝向（单位：角度） if (frontCamera) { // SDK中使用0,1,2,3,4分别表示0,90,180,270和360度 direction = (4 - direction) % 4; } if (mFaceDetector == null) { /** * 离线视频流检测功能需要单独下载支持离线人脸的SDK 请开发者前往语音云官网下载对应SDK */ ShowToast.showToast(getActivity(), "本SDK不支持离线视频流检测"); break; } String result = mFaceDetector.trackNV21(buffer, PREVIEW_WIDTH, PREVIEW_HEIGHT, isAlign, direction); FaceRect[] faces = ParseResult.parseResult(result); drawRect(frontCamera, faces); } }
对人脸动作的检测
if (isFace) { // 进行活体检测 if (rectLength >= 160 && rectLength < 180) { // 判断张嘴后进行拍照 if (mouth_bt >= 40 && !isOpenMouth) { isOpenMouth = true; isShakeHead = true; mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_OPEN_MOUTH, 1000); } // 进行摇头判断 if (eyebrow_mlr_y < 79 && eyebrow_mlr_y >= 0 && isShakeHead) { isOpenMouth = true; countHead++; if (countHead % 2 == 0) { mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_SHAKE_HEAD, 3000); } } } else if (rectLength >= 180 && rectLength < 200) { // 判断张嘴后进行拍照 if (mouth_bt >= 45 && !isOpenMouth) { isShakeHead = true; isOpenMouth = true; mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_OPEN_MOUTH, 1000); } // 进行摇头判断 if (eyebrow_mlr_y < 89 && eyebrow_mlr_y >= 0 && isShakeHead) { isOpenMouth = true; countHead++; if (countHead % 2 == 0) { mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_SHAKE_HEAD, 1000); } } } else if (rectLength >= 200 && rectLength < 340) { // 判断张嘴后进行拍照 if (mouth_bt >= 50 && !isOpenMouth) { isShakeHead = true; isOpenMouth = true; mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_OPEN_MOUTH, 500); } // 进行摇头判断 if (eyebrow_mlr_y < 95 && eyebrow_mlr_y >= 0 && isShakeHead) { isOpenMouth = true; countHead++; if (countHead % 2 == 0) { mHandler.sendEmptyMessageDelayed( StaticArguments.FACE_SHAKE_HEAD, 1000); } } } else if (rectLength < 160) {// 检测脸部离手机太远 mHandler.sendEmptyMessage(StaticArguments.FACE_LENGTH_LONG); } else if (rectLength >= 340 && rectLength >= 0) {// 检测脸部离手机太近 mHandler.sendEmptyMessage(StaticArguments.FACE_LENGTH_NEAR); } }
人脸张嘴或者摇头的动作后捕获视频的帧数据
public void doStartPreview(SurfaceHolder holder, float previewRate) { if (isPreview) { mCamera.stopPreview(); return; } if (mCamera != null) { mParams = mCamera.getParameters(); mParams.setPictureFormat(PixelFormat.JPEG);// 设置拍照后存储的图片格式 // 设置PreviewSize和PictureSize mParams.setPreviewFormat(ImageFormat.NV21); mParams.setPreviewSize(PREVIEW_WIDTH, PREVIEW_HEIGHT); mCamera.setParameters(mParams); mCamera.setDisplayOrientation(90); List<String> focusModes = mParams.getSupportedFocusModes(); if (focusModes.contains("continuous-video")) { mParams.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_VIDEO); } mCamera.setPreviewCallback(new PreviewCallback() { @Override public void onPreviewFrame(byte[] data, Camera camera) { System.arraycopy(data, 0, nv21, 0, data.length); if (takePictureFlag == 1) { Bitmap mBitmap = null; Camera.Parameters parameters = camera.getParameters(); int format = parameters.getPreviewFormat(); if (format == PixelFormat.YCbCr_420_SP || format == PixelFormat.YCbCr_422_I) { int w = parameters.getPreviewSize().width; int h = parameters.getPreviewSize().height; int[] i = new int[data.length]; decodeYUV420SP(i, data, w, h); mBitmap = Bitmap.createBitmap(i, w, h, Bitmap.Config.RGB_565); } else if (format == PixelFormat.JPEG || format == PixelFormat.RGB_565) { mBitmap = BitmapFactory.decodeByteArray(data, 0, data.length); } if (null != mBitmap) { if (takePictureFlag == 1) { takePictureFlag++; } else { return; } // 设置FOCUS_MODE_CONTINUOUS_VIDEO)之后，myParam.set("rotation", // 90)失效。 // 图片竟然不能旋转了，故这里要旋转下 Bitmap rotateImage = FaceUtil.rotateImage(270, mBitmap); if (mListener != null) { mListener.onTakePictuerResult(rotateImage); } } } } }); try { mCamera.setPreviewDisplay(holder); mCamera.startPreview(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } isPreview = true; } }
源码下载地址：
https://github.com/reachchen/FaceRecognition
