WebRTC框架中的硬件加速
WebRTC框架中的硬件加速
WebRTC是一个免费的开源项目，可为浏览器和移动应用程序提供实时通信功能。
WebRTC的主要功能是能够发送和接收交互式高清视频。快速处理此类视频需要硬件加速的视频编码。
当前，开源WebRTC项目框架支持各种软件编码器类型：VP8，VP9和H264。NVIDIA将硬件加速的H.264编码集成到WebRTC编码框架中。本文档使用名称NvEncoder表示此功能。
典型缓冲液流量
下图显示了硬件加速的WebRTC编码框架中的典型缓冲区流。
发送YUV帧，该帧将YUV帧转换为I420格式并在编码器的输出平面上排队。使用专有的NVIDIA低级编码库将输出平面缓冲区发送到NvEncoder。NvEncoder在其捕获平面上返回已填充的已编码缓冲区。
根据应用程序的要求，发送编码后的缓冲区以进行进一步处理。
应用程序和单元测试设置
WebRTC_r32.2.0_aarch64.tbz2程序包中的readme文件包含有关应用程序使用和安装的其它信息。
设置和测试NvEncoder示例应用程序
1。Video Loopback应用程序：要运行该应用程序，请输入以下命令：
$ ./video_loopback-编解码器H264-宽度1280-高度720 --capture_device_index 0
其中：
•--codec指定编码格式。硬件编码当前仅支持H.264。
•--width指定框架宽度。
•--height指定框架高度。
•--capture_device_index指定/ dev / video <x>的索引。
如果WebRTC框架正常工作，应用程序将显示具有所需宽度和高度的摄像机视频流。如果WebRTC检测到帧丢失，则按比例缩放。
2. 对等连接客户端/服务器应用程序：
相机设置：将USB相机连接到Jetson设备。
服务器设置：要在Jetson平台上启动peerconnection_client应用程序，请输入以下命令：
$ ./peerconnection_server
此命令使用默认配置在端口8888上启动服务器。
客户端设置：要在Jetson平台上启动peerconnection_client应用程序的两个实例，请输入以下命令：
$ ./peerconnection_client --autoconnect --server < Server.IP >
$ ./peerconnection_client --server <Server.IP> --autoconnect --autocall
每个命令都会启动一个实例，该实例会自动将客户端连接到服务器。第二个命令使用-autocall选项来调用服务器上第一个可用的其它客户端，而无需用户干预。
3. ħ为NvEncoder 0.264单元测试：输入命令：
$ ./modules_tests --gtest_filter =“ TestNvH264Impl。*” --gtest_repeat = <迭代次数>
如果Jetson设备上的软件显示pulseaudio错误：
输入此命令安装pulseaudio：
$ sudo apt安装pulseaudio
输入以下命令以启动pulseaudio守护程序：
$ pulseaudio –开始
重要方法调用
NvEncoder基于NvVideoEncoderFactory类，该类在头文件中定义：
webrtc_headers / modules / video_coding / codecs / nvidia / NvVideoEncoderFactory.h
该头文件位于软件包WebRTC_r32.2.0_aarch64.tbz2中。
本节总结了对NvEncoder的重要调用。
创建支持硬件的视频编码器
•执行方法调用：
std :: unique_ptr <VideoEncoder> CreateVideoEncoder（const webrtc :: SdpVideoFormat＆format）
参数为：
•format：指定所需的编码格式。当前仅支持SdpVideoFormat（H.264）。
该方法创建并返回指定格式的NvVideoEncoder对象。
查询视频编码器
•执行函数调用：
CodecInfo QueryVideoEncoder（const SdpVideoFormat＆format）
参数为：
•format：指定所需的编码格式。
该函数查询视频编码器并返回其编解码器信息。
获取受支持的视频格式
•执行方法调用：
std :: vector <SdpVideoFormat> GetSupportedFormats（）
该方法返回编码器支持的所有格式的SdpVideoFormat对象的向量。
WebRTC软件包
文件WebRTC_r32.2.0_aarch64.tbz2包含以下文件：
•libwebrtc.a：WebRTC库文件
•头文件：所有WebRTC头文件及其各自的路径名
•video_loopback：用于测试基本视频功能的应用程序
•peerconnection_client：连接到服务器和其它客户端的客户端应用程序
•peerconnection_server：一个创建服务器和客户端接口的应用程序
•module_test：编码器单元测试应用程序
•README：适用于应用程序和NvVideoEncoderFactory的README文件。
局限性
当前，硬件加速仅支持H.264编码器。
该video_loopback仅适用于H.264编码器。
USB摄像头以YUY2颜色格式输出缓冲区，但是NVEncoder希望输入为I420或NV12格式，需要进行颜色转换。当前，这是使用CPU上的WebRTC框架完成的。
