DoubleLi

qq: 517712484 wx: ldbgliet

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

1.首先来看Python模块的部分结构和代码。ssd_network_classify.py文件中有SSD_Network_Classify类及其识别的成员函数detect_image(),返回值是一个1维的不定长double型数组。

class SSD_Network_Classify:
    
     #其他函数实现省略。。。
     
        def detect_image(self, img_raw=None):
        '''
        获取图片数据进行检测。
        :param img_raw: 从c++传来的一维480*640*3大小的int型图片数据(包含负值)
        :return: 返回的是一维数组
        '''
        #将原始图片数据shape成480*640*3的uint8类型数据。
        img_data = np.reshape(img_raw, (480, 640, 3)).astype(np.uint8)
        #以下两行输出用于显示传参的值帮助理解。
        print(img_data.shape)
        print(img_data)
        #进行目标检测并返回检测结果。
        rclasses, rscores, rbboxes = self.detect(img_data)
        #显示检测结果
        cv2.imshow('DetectImage', img_data)
        cv2.waitKey(1)
        #以下将返回的结果拼接成一维的数组返回给调用该函数的c程序中。
        rclasses = np.reshape(rclasses, (-1, 1))
        rscores = np.reshape(rscores, (-1, 1))
        result = np.concatenate([rclasses, rscores, rbboxes], axis=1)
        result = np.squeeze(np.reshape(result, (1, -1)))
        #print(result)
        return result

在Python中输出传入的参数(从c++传送过来)示例如下:


 

2. C++端获取摄像头数据的类CameraBase:

//以下是.h文件中的成员变量
//cv::VideoCapture *capture;
//cv::Mat bgr_image;
//int device_num;

//以下是.cpp中主要成员函数的实现
"构造函数,打开摄像头"
CameraBase::CameraBase(int dev_num) {
    this->device_num = dev_num;
    this->capture = new cv::VideoCapture(this->device_num);
    if (!capture->isOpened()) {
        std::cout << "camera open failed\n";
    }
}

"读取网络摄像头的图片数据"
void CameraBase::grabImages() {
    this->capture->read(this->bgr_image);
}

"图片的Mat数据转换成char类型的数组数据"
char *CameraBase::bgrImageMatToArray( char *img_arr) {
    size_t img_size = this->bgr_image.total() * this->bgr_image.elemSize() ;
    std::memcpy(img_arr, this->bgr_image.data, img_size * sizeof(char));
    return img_arr;
}

3.核心部分。main.cpp中c++调用Python的函数callPythonForDetect。这块代码是c++调用Python的核心代码,具体代码解释已经在代码注释中写得很清楚了。

int callPythonForDetect() {
    //调用web摄像头进行处理
    CameraBase *camera = new CameraBase();
    
    
    //------------------以下是调用Python模块的代码------------------//
    //python环境初始化
    Py_Initialize();
    if (!Py_IsInitialized())
        return -1;
    
    //导入系统包用于扩展需要加载的Python模块的路径,否则即使Python模块在当前目录也无法加载
    PyRun_SimpleString("import sys \nsys.argv = ['']");
    
    //加载Python模块的路径
    PyRun_SimpleString("sys.path.append('/absolute/path/to/python/module')");
   
    //导入需要调用的模块
    PyObject *pyModule = PyImport_ImportModule("ssd_network_classify");
    if (!pyModule) {
        printf("Can not open python module\n");
        return -1;
    }
    
    
    //获取python模块中的类名并创建对象实例
    PyObject *pyClass = PyObject_GetAttrString(pyModule, "SSD_Network_Classify");
    PyObject *pyClassInstance = PyObject_CallObject(pyClass, NULL);
    
    //获取Python模块中相应的函数名
    PyObject *pyFunc = PyObject_GetAttrString(pyClass, "detect_image");

    //声明或定义变量
    npy_intp IMGSHAPE[1] = {480 * 640 * 3};//图片数据的shape参数值
    char *img_data = new char[IMGSHAPE[0]];//从摄像头中获取的图片数据保存的变量
    PyByteArrayObject *pyIMgArr;//image数组的Python对象
    
    //设置发送给Python函数的参数对象
    PyObject *pyArgs = PyTuple_New(2); 
    while (true) {
        camera->grabImages();//获取摄像头数据
        
        //获取image数据并保存至img_data数组中
        camera->bgrImageMatToArray(img_data);
        
        //必须添加如下函数,否则无法执行PyArray_SimpleNewFromData
        import_array ();
        
        //将c的img数组数据转换成pyobject类型的数组数据
        pyIMgArr = reinterpret_cast<PyByteArrayObject *>
        (PyArray_SimpleNewFromData(1, IMGSHAPE, NPY_BYTE, reinterpret_cast<void *>(img_data)));
        
        //设置调用函数的self值为前面该类创建的实例,否则无法使用self变量进行调用而出错
        PyTuple_SetItem(pyArgs, 0, Py_BuildValue("O", pyClassInstance));
       
        //设置变量的第二个参数值为byte类型的数组作为图片数据
        PyTuple_SetItem(pyArgs, 1, reinterpret_cast<PyObject *>(pyIMgArr));
        
        //调用python函数进行识别任务并返回相应的结果
        PyObject *pyResult = PyObject_CallObject(pyFunc, pyArgs);
        
        
        //以下是对返回的一维数组结果进行处理
        if (pyResult) {
            //将结果类型转换成数组对象类型
            PyArrayObject *pyResultArr = (PyArrayObject *) pyResult;
            
            //也可以使用以下两行代码来代替上面的类型转换。
            //PyArray_Descr *descr = PyArray_DescrFromType(NPY_DOUBLE);
            //PyArrayObject *pyResultArr = (PyArrayObject*)PyArray_FromAny(pyResult, descr,1,1,NPY_ARRAY_C_CONTIGUOUS,NULL);
            
            //从Python中的PyArrayObject解析出数组数据为c的double类型。
            double *resDataArr = (double *) PyArray_DATA(pyResultArr);
            int dimNum = PyArray_NDIM(pyResultArr);//返回数组的维度数,此处恒为1
            npy_intp *pdim = PyArray_DIMS(pyResultArr);//返回数组各维度上的元素个数值
            
            
            //以下是对返回结果的输出显示
            for (int i = 0; i < dimNum; ++i) {
                for (int j = 0; j < pdim[0]; ++j)
                    cout << resDataArr[i * pdim[0] + j] << ",";
            }
            cout << endl;
        }
    }
    //释放Python环境
    Py_Finalize();
}

从调用的Python函数中返回的数组结果示例如下:


 

以下是最终C++通过调用Python版本实现的目标识别网络展示的结果:


总结:
*** 使用C++调用python3模块接口的示例基本没有,有的大部分都是python2版本的示例,而新版本的很多函数名称和用法改变都很大,导致我在写这块代码的时候碰到很多问题,就这个简单需求花了我整整3天的时间,期间有考虑使用第三方框架进行解决,但是发现也很麻烦。其中需要注意的是,因为Python的类函数的第一个参数是self,并且是传入对象本身,因此在c中调用的时候也要考虑为其赋值(PyTuple_SetItem(pyArgs, 0, Py_BuildValue("O", pyClassInstance)); 这行代码很重要),否则会出错。很多例子都考虑的是调用非类成员函数,因此不需要考虑self变量而比较容易。我是自己尝试很久并经过调试才知道该怎么给self赋值的,这也是我写这篇文章的原因所在,希望给其他需要的人一些参考,少走弯路。***

posted on 2023-08-11 15:25  DoubleLi  阅读(149)  评论(0编辑  收藏  举报