视频捕捉Graph的构建
一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多，dshow提供了一个Capture Graph Builder COM组件使得捕捉graph图的生成更加简单。Capture Graph Builder提供了一个ICaptureGraphBuilder2接口，这个接口提供了一些方法用来构建和控制捕捉graph。
首先创建一个Capture Graph Builder对象和一个graph manger对象，然后用filter graph manager 作参数，调用ICaptureGraphBuilder2::SetFiltergraph来初始化Capture Graph Builder。看下面的代码吧：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
HRESULT InitCaptureGraphBuilder(IGraphBuilder **ppGraph, //Receives the pointer
ICaptureGraphBuilder2 **ppBuilder) //Receives the pointer
{
if(!ppGraph || !ppBuilder)
{
return E_POINTER;
}
IGraphBuilder *pGraph = NULL;
ICaptureGraphBuilder2 *pBuild = NULL;
//Create the Capture Graph Builder
HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL,
CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2,
(void**)&pGraph);
if(SECCEEDED(hr))
{
//Create the Filter Graph Manager
hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER,
IID_IGraphBuilder, (void**)&pGraph);
if(SECCEEDED(hr))
{
//Initialize the Capture Graph Builder
pBuild->SetFiltergraph(pGraph);
//Return both interface pointers to the caller
*ppBuild = pBuild;
*ppGraph = pGraph; //The caller must release both interface
return S_OK;
}
else
{
pBuild->Release();
}
}
return hr; //Failed
}
|
视频捕捉的设备
现在许多新的视频捕捉设备都采用的是WDM驱动方法，在WDM机制中，微软提供了一个独立于硬件设备的驱动，称为类驱动程序。驱动程序的供应商提供的驱动程序称为minidrivers。Minidrivers提供了直接和硬件打交道的函数，在这些函数中调用了类驱动。
在directshow的filter图表中，任何一个WDM捕捉设备都是做为一个WDM Video Capture过滤器（Filter）出现。WDM Video Capture过滤器根据驱动程序的特征构建自己的filter
Direcshow中视频捕捉的Filter Pin的种类
捕捉Filter一般都有两个或多个输出pin，他们输出的媒体类型都一样，比如预览pin和捕捉pin，因此根据媒体类型就不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了，每个pin都有一个GUID，称为pin的种类。
如果想仔细的了解pin的种类，请看后面的相关内容Working with Pin Categories。对于大多数的应用来说，ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin
视频捕捉Filter都提供了预览和捕捉的输出pin，预览pin用来将视频流在屏幕上显示，捕捉pin用来将视频流写入文件。
预览pin和输出pin有下面的区别：
1 为了保证捕捉pin对视频桢流量，预览pin必要的时候可以停止。
2 经过捕捉pin的视频桢都有时间戳，但是预览pin的视频流没有时间戳。
预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency，如果捕捉时间被认为就是render时间的话，视频renderFilter就认为视频流有一个小小的延迟，如果此时render filter试图连续播放的时候，就会丢桢。去掉时间戳就保证了视频桢来了就可以播放，不用等待，也不丢桢。
- 预览pin的种类GUID为PIN_CATEGORY_PREVIEW
- 捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE
Video Port pin
Video Port是一个介于视频设备（TV）和视频卡之间的硬件设备。同过Video Port，视频数据可以直接发送到图像卡上，通过硬件的覆盖，视频可以直接在屏幕显示出来。Video Port就是连接两个设备的。
使用Video Port的最大好处是，不用CPU的任何工作，视频流直接写入内存中。
如果捕捉设备使用了Video Port，捕捉Filter就用一个video port pin代替预览pin。
video port pin的种类GUID为PIN_CATEGORY_VIDEOPORT
一个捕捉filter至少有一个Capture pin，另外，它可能有一个预览pin 和一个video port pin，或者两者都没有，也许filter有很多的capture pin，和预览pin，每一个pin都代表一种媒体类型，因此一个filter可以有一个视频capture pin，视频预览pin，音频捕捉pin，音频预览pin。
Upstream WDM Filters
在捕捉Filter之上，WDM设备可能需要额外的filters，下面就是这些filter
- TV Tuner Filter
- TV Audio Filter.
- Analog Video Crossbar Filter
尽管这些都是一些独立的filter，但是他们可能代表的是同一个硬件设备，每个filter都控制设备的不同函数，这些filter通过pin连接起来，但是在pin中没有数据流动。因此，这些pin 的连接和媒体类型无关。他们使用一个GUID值来定义一个给定设备的minidriver，例如：TV tuner Filter 和video capture filter都支持同一种medium。
在实际应用中，如果你使用ICaptureGraphBuilder2来创建你的capture graphs，这些filters就会自动被添加到你的graph中。更多的详细资料，可以参考WDM Class Driver Filters。
选择一个视频捕捉设备（Select capture device）
如何选择一个视频捕捉设备，可以采用系统设备枚举，详细资料参见Using the System Device Enumerator 。enumerator可以根据filter的种类返回一个设备的monikers。Moniker是一个com对象，可以参见IMoniker的SDK。
对于捕捉设备，下面两种类是相关的。
- CLSID_AudioInputDeviceCategory 音频设备
- CLSID_VideoInputDeviceCategory 视频设备
下面的代码演示了如何枚举一个视频捕捉设备
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
ICreateDevEnum *pDevEnum = NULL;
IEnumMoniker *pEnum = NULL;
//Create the system device enumerator
HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL,
CLSCT_INPROC_SERVER, IID_ICreateDevEnum,
reinterpret_cast<void**>(&pDevEnum));
if(SUCCEEDED(hr))
{
//创建一个枚举器，枚举视频设备
hr = pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory,
&pEnum, 0);
}
|
IEnumMoniker接口pEnum返回一个IMoniker接口的列表，代表一系列的moniker，你可以显示所有的设备，然后让用户选择一个。
采用IMoniker::BindToStorage方法，返回一个IPropertyBag接口指针。然后调用IPropertyBag::Read读取moniker的属性。下面看看都包含什么属性：
1 FriendlyName 是设备的名字
2 Description 属性仅仅适用于DV和D-VHS/MPEG摄象机，如果这个属性可用，这个属性更详细的描述了设备的资料
3DevicePath 这个属性是不可读的，但是每个设备都有一个独一无二的。你可以用这个属性来区别同一个设备的不同实例
下面的代码演示了如何显示遍历设备的名称 ，接上面的代码
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
HWND hList; //Handle to the list box
IMoniker *pMoniker = NULL;
while(pEnum->Next(1, &pMoniker, NULL) == S_OK)
{
IPropertyBag *pPropBag;
hr = pMoniker->BindToStorage(0, 0, IID_IPropertyBag, (void**)(&pPropBag));
if(FAILED(hr))
{
pMoniker->Release();
continue; //Skip this one, maybe the next one will work
}
VARIANT varName;
hr = pPropBag->Read(L"Description", &varName, 0);
if(FAILED(hr))
{
hr = pPropBag->Read(L"FriendlyName", &varName, 0);
}
if(SECCEEDED(hr))
{
//Add it to the application's list box
USES_CONVERSION;
(long)SendMessage(hList, LB_ADDSTRING, 0, (LPARAM)OLE2T(varName.bstrVal));
VariantClear(&varName);
}
pPropBag->Release();
pMoniker->Release();
}
|
如果用户选中了一个设备调用IMoniker::BindToObject为设备生成filter，然后将filter加入到graph中。
|
1
2
3
4
5
|
IBaseFilter *pCap = NULL;
hr = pMoniker->BindToObject(0, 0, IID_IBaseFilter, (void**)&pCap);
if(SECCEEDED(hr))
{
hr = m_pGraph->AddFilter(pCap, L"Capture Filter");
|
为了创建可以预览视频的graph，可以调用下面的代码：
|
1
2
3
4
5
6
7
|
ICaptureGraphBuilder2 *pBuild; //Capture Graph Builder
//Initialize pBuild(not shown)
...
IBaseFilter *pCap; //Video capture filter
hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,
pCap, NULL, NULL);
}
|
如何捕捉视频流并保存到文件（Capture video to File）
1 将视频流保存到AVI文件
AVI Mux filter接收从capture pin过来的视频流，然后将其打包成AVI流。音频流也可以连接到AVI Mux Filter上，这样mux filter就将视频流和视频流合成AVI流。File writer将AVI流写入到文件中。
可以像下面这样构建graph图
|
1
2
3
4
5
|
IBaseFilter *pMux;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, //Specifies AVI for the target file
L"C:\\Example.avi", //File name
&pMux, //Receives a pointer to the mux
NULL); //(Optional)Receives a pointer to the file sink
|
第一个参数表明文件的类型，这里表明是AVI，第二个参数是制定文件的名称。对于AVI文件，SetOutputFileName函数会创建一个AVI mux Filter 和一个 File writer Filter ，并且将两个filter添加到graph图中，在这个函数中，通过File Writer Filter 请求IFileSinkFilter接口，然后调用IFileSinkFilter::SetFileName方法，设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向 AVI Mux的指针，同时，它也通过第四个参数返回一个IFileSinkFilter参数，如果你不需要这个参数，你可以将这个参数设置成NULL。
然后，你应该调用下面的函数将capture filter 和AVI Mux连接起来。
|
1
2
3
4
5
6
7
|
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, //Pin category
&MEDIATYPE_Video, //Media type
pCap, //Capture filter
NULL, //Intermediate filter(optional)
pMux); //Mux or file sink filter
//Release the mux filter
pMux->Release();
|
第5个参数就是使用的上面函数返回的pMux指针。
当捕捉音频的时候，媒体类型要设置为MEDIATYPE_Audio，如果你从两个不同的设备捕捉视频和音频，你最好将音频设置成主流，这样可以防止两个数据流间drift，因为avi mux filter为同步音频，会调整视频的播放速度的。为了设置master 流，调用IConfigAviMux::SetMasterStream方法，可以采用如下的代码：
|
1
2
3
4
5
6
7
|
IConfigAviMux *pConfigMux = NULL;
hr = pMux->QueryInterface(IID_IConfigAviMux, (void**)&pConfigMux);
if(SUCCEEDED(hr))
{
pConfigMux->SetMasterStream(1);
pConfigMux->Release();
}
|
SetMasterStream的参数指的是数据流的数目，这个是由调用RenderStream的次序决定的。例如，如果你调用RenderStream首先用于视频流，然后是音频，那么视频流就是0，音频流就是1。
添加编码filter
|
1
2
3
4
5
6
7
|
IBaseFilter *pEncoder;
//Add it to the filter graph
pGraph->AddFilter(pEncoder, L"Encode");
//Render the stream
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,
pCap, pEncoder, pMux);
pEncoder->Release();
|
2 将视频流保存成wmv格式的文件
为了将视频流保存成并编码成windows media video （WMV）格式的文件，将capture pin连到WM ASF Writer filter。
构建graph图最简单的方法就是将在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asf的filter。如下
|
1
2
3
4
5
|
IBaseFilter *pASFWriter = 0;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Asf, //Create a windows media file
L"C:\\VidCap.wmv", //File name
&pASFWriter, //Receives a pointer to the filter
NULL); //Receives an IFileSinkFilter interface pointer(optional)
|
参数MEDIASUBTYPE_Asf 告诉graph builder，要使用wm asf writer作为文件接收器，于是，pbuild 就创建这个filter，将其添加到graph图中，然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASF writer指针，第四个参数用来返回文件的指针。
在将任何pin连接到WM ASF Writer之前，一定要对WM ASF Writer进行一下设置，你可以同过WM ASF Writer的IConfigAsfWriter接口指针来进行设置。
|
1
2
3
4
5
6
7
|
IConfigAsfWriter *pConfig = 0;
hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter, (void**)&pConfig);
if(SUCCEEDED(hr))
{
//Configure the ASF Writer filter
pConfig->Release();
}
|
|
1
2
3
4
5
|
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, //Capture pin
&MEDIATYPE_Video, //Video. Use MEDIATYPE_Audio for audio
pCap, //Pointer to the capture filter
0,
pASFWriter); //Pointer to the sink filter(ASF Filter)
|
3保存成自定义的文件格式
如果你想将文件保存成自己的格式，你必须有自己的 file writer。看下面的代码：
|
1
2
3
4
5
|
IBaseFilter *pMux = 0;
IFileSinkFilter *pSink = 0;
hr = pBuild->SetOutputFileName(&CLSID_MyCustomMuxFilter, //开发自己的Filter
L"C:\\VidCap.avi", &pMux, &pSink);
|
4如何将视频流保存进多个文件
当你将视频流保存进一个文件后，如果你想开始保存第二个文件，这时，你应该首先将graph停止，然后通过IFileSinkFilter::SetFileName改变 File Writer 的文件名称。注意，IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。
看看保存多个文件的代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
IBaseFilter *pMux = 0;
IFileSinkFilter *pSink = 0;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi,
L"C:\\YourFileName.avi", &pMux, &pSink);
if(SUCCEEDED(hr))
{
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,
pCap, NULL, pMux);
if(SUCCEEDED(hr))
{
pControl->Run();
pControl->Stop();
//Change the file name and run the graph again
pSink->SetFileName(L"YourFileName02.avi", 0);
pControl->Run();
}
pMux->Release();
pSink->Release();
}
|