DirectShow Filter的开发实践

一、介绍

摄像头图像采集处理在业界有着多种成熟的方案。从老的DirectShow、Grabber技术，到新的Windows Media Foundation框架，网络上都有着丰富的参考资料。OpenCV库里面甚至提供了非常简洁的接口，用户只要一两行代码即可实现数据采集、编解码等功能，使用起来甚是方便。但是，如果把数据采集的任务放到我们自己的程序中来实现的话，CPU的占用率会比较高。这在某些情况下不太可取。虽然可以实现，但是在客户端使用时效率非常低下。而公司恰好有一项开发任务：要求采集到摄像头数据后，对图像数据进行各种变换处理，然后传递给底层驱动程序，实现虚拟摄像头功能。具体的效果如果CamMask或者CamTwist：

尝试过自己写代码采集摄像头数据，然后再进行图像处理。但是换了多种方式都不太理想。要么CPU占用率达到百分之五六十，要么内存占用率达到六七百兆。采用DirectShow Filter似乎就成了唯一的一种方式。实际测试下来，3K分辨率的视频CPU占用率保持在30%上下，内存在150M上下。这个数据还是可以接受的。

二、DirectShow基础

DirectShow是Microsoft DirectX技术体系中的一员，其他成员还包括DirectSound, DirectInput, DirectSetup, DirectX Graphics等。DirectShow技术是微软为了解决多媒体应用开发中的一些难题而提出的。例如：如何保证数据量巨大的多媒体数据处理的高效性？如何让音视频时刻保持同步？如何处理各种式样的媒体格式问题？如何支持目标系统中不可预知的硬件？DirectShow的设计初衷就是尽量让应用程序开发人员从复杂的数据传输、硬件差异、同步性等工作中解脱出来，总体应用框架和底层工作由DirectShow来完成。DirectShow技术的总体运行流程如下：

Filter是DirectShow技术体系中最基本的概念。如上图所示，DirectShow中的Filter分成三大类：Source Filter、Transform Filter、Render Filter。Source Filter就是提供数据源的Filter，所有的数据都是从Source Filter流出去的。不管是多媒体文件还是多媒体设备，Source Filter都进行了封装统一了接口，在使用方式上保持了一致。Transform Filter则是对数据进行操作处理的Filter，所有的图像操作都应该在这里进行。而Render Filter则是用来渲染图像的Filter，不管是保存到文件还是输出到其他地方，都由这个Render Filter来实现。Windows系统本身提供了非常多的Filter，我们在开发的时候可以直接使用。

DirectShow使用Filter Graph来管理Filter。Filter Graph是Filter的容器，所有Filter如果想要起作用，就必须加入到Filter Graph当中。Filter是Filter Graph当中最小的功能模块。

Filter加入到Filter Graph中后，还需要进行连接。Filter的连接，实际上就是Filter上的Pin的连接。连接的方式一般总是由上一级Filter的输出Pin指向下一级Filter的输入Pin。如下图：

图中总共出现了5个Filter。其中MJPEG Decompressor，Color Space Converter是系统提供的Filter，分别用于MJPG流的解码和颜色空间转换。Video Control则是GraphStudio自动绑定到相机的Filter，剩下的两个是我们自己编写的Filter，分别属于Transform Filter和Render Filter。Filter之间的绿线就是表示Filter上Pin之间的连接。这样连接来之后，整条Filter Graph就跑通了。这个工具名叫GraphStudioNext，用于测试Filter的编写是否正确。更多的DirectShow基础介绍，可以参考《DirectShow开发指南：陆其明著》这本书。正如其宣传所言：全面、深刻、通俗易懂。

三、编写DirectShow Filter

那么，代码中如何编写Filter呢？我们需要参考例子。网络上及上面介绍的那本书中，都提到了DirectShow Samples这个玩意儿。但是我把Windows 10系统的SDK目录翻了个底朝天也没发现Samples在哪。后来经过研究才发现，貌似Windows 7的SDK中才附带了Samples。也就是说，想要参考Samples里面的样例工程，还得安装个Windows 7的SDK。

Filters目录下面就是一些简单的样例工程。这其中要介绍一下的是baseclasses目录。这下面的是一些C++类文件，是微软实现的对DirectShow Filter API的封装。这些类替我们把一些通用操作给抽象出来实现了，然后我们在实现自己的Filter时，直接从baseclasses里面的类继承就好了，简洁方便。如果不用Baseclasses里面的类的话，也可以进行DirectShow Filter的开发，但是需要自己实现很多重复、繁杂的代码，还容易出错。baseclasses里面有一个vs工程，需要我们用vs将baseclasses编译成静态库，使用时包括头文件即可。

Filter的编写在samples里面提供的工程基础修改即可。关键的关键是Filter之间的连接，Filter上的Pin之间需要协商好，否则的话无法顺利建立连接。协商过程主要是包括媒体类型、尺寸、颜色模型、压缩方式等。这个过程需要在实际开发中去研究尝试。Filter编写好之后的工作，就剩下连接了。连接操作非常通俗简单，简而言之就是：实例化Filter->创建Filter Graph->往Filter Graph中加入Filter->查找Filter上的Pin->连接Pin->运行Filter Graph：

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

// instantialize filters
IBaseFilterPtr        m_pVCamRenderer;
IBaseFilterPtr          m_pInsta360TestFilter; 
IBaseFilterPtr          m_pJpegDecoder;
IBaseFilterPtr          m_pColorConverter;
HRESULT hr = CoCreateInstance(CLSID_VCamRenderer, NULL, CLSCTX_INPROC, IID_IBaseFilter, 
        reinterpret_cast<void**>(&m_pVCamRenderer));
if (FAILED(hr)) {
    LOGERR("Failed to create VCam Renderer filter!"); 
    m_initialStatus = FALSE;
}
 
hr |= CoCreateInstance(CLSID_Insta360TestSticher, NULL, CLSCTX_INPROC, IID_IBaseFilter,
    reinterpret_cast<void**>(&m_pInsta360TestFilter));
if (FAILED(hr)) { 
    LOGERR("Failed to create Insta360 test sticher filter!");
    m_initialStatus = FALSE;
} 
 
hr |= CoCreateInstance(CLSID_Colour, NULL, CLSCTX_INPROC, IID_IBaseFilter,
    reinterpret_cast<void**>(&m_pColorConverter));
if (FAILED(hr)) {
    LOGERR("Failed to create color space converter filter!");
    m_initialStatus = FALSE;
}
 
hr |= CoCreateInstance(CLSID_MjpegDec, NULL, CLSCTX_INPROC, IID_IBaseFilter,
    reinterpret_cast<void**>(&m_pJpegDecoder));
if (FAILED(hr)) {
    LOGERR("Failed to create jpeg decoder filter!");
    m_initialStatus = FALSE;
} 
 
// declare variables 
HRESULT hr;
IGraphBuilderPtr        m_pGraph;
IMediaSeekingPtr        m_pMS;
IMediaControlPtr        m_pMC;
 
CComPtr<IPin> m_pCameraOutput;
     
CComPtr<IPin> m_pDecoderInput;
CComPtr<IPin> m_pDecoderOutput;
 
CComPtr<IPin> m_pSticherInput;
CComPtr<IPin> m_pSticherOutput;
 
CComPtr<IPin> m_pColorConverterInput;
CComPtr<IPin> m_pColorConverterOutput;
 
CComPtr<IPin> m_pVCamInput;
 
// query interfaces
hr = CoCreateInstance(CLSID_FilterGraph, NULL,  CLSCTX_INPROC, IID_IGraphBuilder, (void **)&m_pGraph);
// Media control
hr = m_pGraph->QueryInterface(IID_IMediaControl, (void**)&m_pMC); 
 
hr = m_pGraph->AddFilter(pCapSrcFilter, L"Source");
hr = m_pGraph->AddFilter(m_pJpegDecoder, L"Decoder");
hr = m_pGraph->AddFilter(m_pInsta360TestFilter, L"Sticher");  
hr = m_pGraph->AddFilter(m_pColorConverter, L"Converter");
hr = m_pGraph->AddFilter(m_pVCamRenderer, L"Renderer");
 
// Enumerate pins to make connections
CComPtr<IEnumPins> pEnum = NULL;
hr = pCapSrcFilter->EnumPins(&pEnum);
hr = pEnum->Reset();
m_pCameraOutput = NULL;
hr = pEnum->Next(1, &m_pCameraOutput, NULL);
  
// decoder
pEnum = NULL;
m_pJpegDecoder->EnumPins(&pEnum);
pEnum->Reset();
m_pDecoderInput = NULL;
hr = pEnum->Next(1, &m_pDecoderInput, NULL); 
 
pEnum = NULL;
m_pJpegDecoder->EnumPins(&pEnum);
pEnum->Reset();
pEnum->Skip(1); 
m_pDecoderOutput = NULL;
hr = pEnum->Next(1, &m_pDecoderOutput, NULL); 
 
// sticher
pEnum = NULL;
m_pInsta360TestFilter->EnumPins(&pEnum);
pEnum->Reset();
m_pSticherInput = NULL;
hr = pEnum->Next(1, &m_pSticherInput, NULL); 
 
pEnum = NULL;
m_pInsta360TestFilter->EnumPins(&pEnum);
pEnum->Reset();
pEnum->Skip(1);
m_pSticherOutput = NULL;
hr = pEnum->Next(1, &m_pSticherOutput, NULL); 
 
// color space converter
pEnum = NULL;
m_pColorConverter->EnumPins(&pEnum);
pEnum->Reset();
m_pColorConverterInput = NULL;
hr = pEnum->Next(1, &m_pColorConverterInput, NULL);
 
pEnum = NULL;
m_pColorConverter->EnumPins(&pEnum);
pEnum->Reset();
pEnum->Skip(1);
m_pColorConverterOutput = NULL;
hr = pEnum->Next(1, &m_pColorConverterOutput, NULL);
 
// vcam
pEnum = NULL;
m_pVCamRenderer->EnumPins(&pEnum);
pEnum->Reset(); 
m_pVCamInput = NULL;
hr = pEnum->Next(1, &m_pVCamInput, NULL);
if (FAILED(hr))
{
    LOGERR("Error occured while enumerating filter pins.");
    SAFE_RELEASE(pCapSrcFilter);
    SAFE_RELEASE(pM);
    return hr;
}
 
hr |= m_pGraph->Connect(m_pCameraOutput, m_pDecoderInput);
if (FAILED(hr))
{
    LOGERR("Failed to connect filter pins: 0x%X", hr);
    SAFE_RELEASE(pCapSrcFilter);
    SAFE_RELEASE(pM);
    return hr;
}
hr |= m_pGraph->Connect(m_pDecoderOutput, m_pSticherInput); 
if (FAILED(hr))
{
    LOGERR("Failed to connect filter pins: 0x%X", hr);
    SAFE_RELEASE(pCapSrcFilter);
    SAFE_RELEASE(pM);
    return hr;
}
hr |= m_pGraph->Connect(m_pSticherOutput, m_pColorConverterInput);
if (FAILED(hr))
{
    LOGERR("Failed to connect filter pins: 0x%X", hr);
    SAFE_RELEASE(pCapSrcFilter);
    SAFE_RELEASE(pM);
    return hr;
}
hr |= m_pGraph->Connect(m_pColorConverterOutput, m_pVCamInput);
if (FAILED(hr))
{
    LOGERR("Failed to connect filter pins: 0x%X", hr);
    SAFE_RELEASE(pCapSrcFilter);
    SAFE_RELEASE(pM);
    return hr;
}
 
// run the graph 
if (NULL != m_pMC)
{
    m_pMC->Run();
} 
 
SAFE_RELEASE(pCapSrcFilter);
SAFE_RELEASE(pM); 

　　至此，整条Filter Graph就跑起来了。我们的DirectShow应用程序也就编写完成了。实际编写过程中可能会遇到更多的问题，此时多尝试多搜索，通常都可以解决掉。在本人编写Transform Filter的过程中，有一个需要改变输出尺寸的需求。也就是说，输入的是2:1的视频的话，我要改成1:1的输出。这里要一定要注意CTransformFilter类的CheckTransform方法。一般如果输入输出的媒体类型不变的话，实现如下：

// Check a transform can be done between these formats
HRESULT Insta360TestFilter::CheckTransform(const CMediaType* mtIn, const CMediaType* mtOut)
{  
    CheckPointer(mtIn, E_POINTER);
    CheckPointer(mtOut, E_POINTER);
 
    if (CanPerformTransform(mtIn))
    {
        if (*mtIn == *mtOut)
        {
            return NOERROR;
        }
    }
 
    return E_FAIL;
}