OpenCV4Android背景建模（MOG、MOG2）
本文为作者原创，转载请注明出处（http://www.cnblogs.com/mar-q/）by 负赑屃
很久以前的笔记了，分享给大家吧。。。OpenCV4Android中用于背景建模的类主要有：BackgroundSubtractor、BackgroundSubtractorMOG、BackgroundSubtractorMOG2、BackgroundSubtractorKNN，主要对使用方法做个总结。
借用OpenCV提供的API，Android编程可以实现比较丰富的视觉处理效果。经过多次尝试，终于梳理出OpenCV背景建模在Android中的使用方法。BackgroundSubtractor的java API在OpenCV2.x和3.x版本有较大区别，3.x提供了比较丰富的API接口，取消了2.4中的高斯背景建模1（BackgroundSubtractorMOG），保留了高斯背景建模2（BackgroundSubtractorMOG2），引入了KNN背景建模（BackgroundSubtractorKNN）。同时提供了很多访问BackgroundSubtractor背景模型的属性方法，例如getBackgroundImage等。废话不多说，总结如下：
一、通过Java接口实现背景建模
无论在OpenCV2.x还是3.x，BackgroundSubtractor类都必须在帧循环处理之前定义，例如：给OpenCV自带的Tutorial2 例程增加一个BackgroundSubtractorMOG2类的前景侦测方法。
1、定义一个BackgroundSubtractorMOG2 对象，Tutorial2 例程对于用到的mat类对象定义为private全局变量，参照给出定义：
public class Tutorial2Activity extends Activity implements CvCameraViewListener2 { …… private Mat mRgba; private Mat mIntermediateMat; private Mat mGray; private BackgroundSubtractorMOG2 mog2;
2、mog2对象初始化，Tutorial2 例程在onCameraViewStarted方法中对mat对象进行初始化，参照执行：
public void onCameraViewStarted(int width, int height) { mRgba = new Mat(height, width, CvType.CV_8UC4); mIntermediateMat = new Mat(height, width, CvType.CV_8UC4); mGray = new Mat(height, width, CvType.CV_8UC1); mog2 = new BackgroundSubtractorMOG2(); //OpenCV2.x初始化方法 //mog2 = video.createBackgroundSubtractorMOG2();//OpenCV3.x初始化方法 }
需要注意的是OpenCV2.x初始化BackgroundSubtractorMOG2对象是通过new来实现，但是在3.x版本中是通过mog2 = Video.createBackgroundSubtractorMOG2()来实现。
3、执行背景建模，直接把例程中的canny方法改成BackgroundSubtractor：
case BUTTON_GETBG: mRgba = inputFrame.rgba(); bg2.apply(inputFrame.gray(),mIntermediateMat,0.01);//前景保存在mIntermediateMat中 //bg2.getBackgroundImage(mBG); //OpenCV3.x提供获取背景函数
由于OpenCV2.x没有提供getBackgroundImage方法，让我们折腾折腾，通过jni给它实现一下：
二、通过jni实现背景建模
首先你得大致会jni，不在这里展开讲，推荐看一下http://www.cnblogs.com/linguanh/p/4624768.html，做好准备工作。
1、定义GetBGImage类继承BackgroundSubtractorMOG2类，并定义其中的native方法：
/** * 因为OpenCV2.4中没有提供BackgroundSubtractorMOG2类getBackgroundImage的API接口， * 所以通过FindBackground类定义获取背景的方法，FindBackground类的初始化工作和 * BackgroundSubtractorMOG2类一致，必须在Frame循环之外完成，获取背景的方法在帧循环体内。 */ public class GetBGImage extends BackgroundSubtractorMOG2{ //继承自BackgroundSubtractorMOG2，其构造方法继承父类构造方法 public GetBGImage (int history, float varThreshold, boolean bShadowDetection) { super( history, varThreshold, bShadowDetection) ; return; } //FindBackground extends BackgroundSubtractorMOG2 extends BackgroundSubtractor extends Algorithm类 //algorithm类定义了long类型的nativeobj public long getNativeObjAddr() { return nativeObj; } public void FindFeature(Mat mGr, Mat mBG){ FindFeatures(nativeObj, mGr.nativeObj, mBG.nativeObj); return; } public static native void FindFeatures(long nativeObj,long mGr_nativeObj, long mBG_nativeObj); }
2、编写Java_com_example_Myapplication_GetBGImage.cpp代码：
#include <jni.h> #include <opencv2/core/core.hpp> #include <opencv2/core/core.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2/features2d/features2d.hpp> #include <vector> #include <android/log.h> #include <sys/time.h> #include <opencv2/video/background_segm.hpp> #define LOGE(...) __android_log_print(ANDROID_LOG_ERROR , "ProjectName", __VA_ARGS__) using namespace std; using namespace cv; //异常处理，可以不要 static void throwJavaException(JNIEnv *env, const std::exception *e, const char *method) { std::string what = "unknown exception"; jclass je = 0; if(e) { std::string exception_type = "std::exception"; if(dynamic_cast<const cv::Exception*>(e)) { exception_type = "cv::Exception"; je = env->FindClass("org/opencv/core/CvException"); } what = exception_type + ": " + e->what(); } if(!je) je = env->FindClass("java/lang/Exception"); env->ThrowNew(je, what.c_str()); LOGE("%s caught %s", method, what.c_str()); (void)method; // avoid "unused" warning } //方法主体，一定要以extern "C"{开头 extern "C" { JNIEXPORT void JNICALL Java_com_example_Myapplication_GetBGImage_FindFeatures(JNIEnv* , jobject , jlong self, jlong addrGray, jlong addrBG); //在java native方法中传入的参数主要有三个，分别对应self、addrGray、addrBG，其中self是自定义的GetBGImage类long类型的nativeobj，它可以作为一个指针指向你定义的GetBGImage类对象。 //当对象指针通过jni传入C++后，你可以通过GetBGImage的父类BackgroundSubtractorMOG2的指针指向这个对象，并在通过指针调用C的接口，从而实现对getBackgroundImage方法的调用。 JNIEXPORT void JNICALL Java_com_example_Myapplication _GetBGImage_FindFeatures(JNIEnv* env, jobject , jlong self, jlong addrGray, jlong addrBG) { static const char method_name[] ="FindFeatures->getBackgroundImage()getFrontMaskImage()"; try{ LOGE("%s",method_name); Mat& mGr = *(Mat*)addrGray; Mat& mBG = *(Mat*)addrBG; cv::BackgroundSubtractorMOG2* me = (cv::BackgroundSubtractorMOG2*) self; me->operator()(mGr, mBG,0.001); me->getBackgroundImage(mGr); return; }catch(const std::exception &e) { throwJavaException(env, &e, method_name); } catch (...) { throwJavaException(env, 0, method_name); } return; } }
注：需要调用的C++函数需在native里声明，声明的文件名要与编写的cpp文件一致，例如Java_com_example_Myapplication_GetBGImage_FindFeatures对应的FindFeatures。
3、生成.h头文件和.so库文件
生成.h头文件（在as terminal中输入命令：javah -d &location\app\src\main\jni -classpath &location\app\src\main\java com.example.Myapplication.GetBGImage），如果一切顺利则不会报错，并生成Java_com_example_Myapplication_GetBGImage.h文件；
编写Android.mk文件、application.mk文件，具体请参照Tutorial2或相关博客，提示一句：如果需要mk多个cpp文件（例如1.cpp，2.cpp），请在标记LOCAL_SRC_FILES :=1.cpp LOCAL_SRC_FILES := 2.cpp，当然还有更通用的写法，可以自己查找，这里不再介绍。
编译.so文件，as terminal转入app\src\main\jni目录下，输入ndk-build，如果一切顺利则会提示生成了一系列.so文件，同时你的project的main目录下会生成libs和obj两个目录。这就表示编译成功，在你的mainActivity里加载这个.so文件吧，加载方法：
BaseLoaderCallback中加载System.loadLibrary("xxxx"); //.so文件名称一般为libxxxx.so
这一步很关键，也很容易出错，请耐心调试，如果我的方法不适用可以多搜别人的博客看看。
4、完成以上步骤，就可以放心使用GetBGImage的FindFeature方法了。步骤可以参考java背景建模，首先预定义GetBGImage类对象
public class Tutorial2Activity extends Activity implements CvCameraViewListener2 { …… private Mat mRgba; private Mat mIntermediateMat; private Mat mGray; private GetBGImage mog2;
在onCameraViewStarted方法中进行初始化，这里的参数请参照背景建模的需求进行调试。
public void onCameraViewStarted(int width, int height) { mRgba = new Mat(height, width, CvType.CV_8UC4); mIntermediateMat = new Mat(height, width, CvType.CV_8UC1); mGray = new Mat(height, width, CvType.CV_8UC1); //GetBGImage类继承自BackgroundSubtractorMOG2，其构造方法继承父类构造方法 bg2 = new GetBGImage(30,16,false);
在onCameraFrame方法中调用FindFeature
public Mat onCameraFrame(CvCameraViewFrame inputFrame) { mGray = inputFrame.gray(); bg2.FindFeature(mGray,mIntermediateMat );
祝一切顺利，以上。
