海康视频 rtnp转 flv
1.海康视频实时播放视频
1.1 了解海康视频sdk
1.1.1 获取海康视频sdk和SDK文档
可以去官网下载也可以去百度网盘下载
链接：https://pan.baidu.com/s/1a5tmB1lwmb0ON_BRGB4XxQ
提取码：1111
1.1.2 查看sdk播放视频全流程
- 初始化SDK
static HCNetSDK hCNetSDK = HCNetSDK.INSTANCE;
- 注册设备，获取返回的IUser
lUserID = hCNetSDK.NET_DVR_Login_V30("182.104.192.XX",
(short) 8002, "admin", "密码", m_strDeviceInfo);
- 根据获取到的lUserID 调用实时预览的接口
//初始化客户端信息数据
m_strClientInfo = new HCNetSDK.NET_DVR_CLIENTINFO();
//获取视频通道
m_strClientInfo.lChannel = new NativeLong(iChannelNum);
//根据通道编号以及注册设备返回的UserId调用视频实时预览的API，返回值是窗口的句柄号
lPreviewHandle = hCNetSDK.NET_DVR_RealPlay_V30(lUserID,
m_strClientInfo, null, null, true);
- 通过回调参数获取流数据
NET_DVR_RealPlay_V30的第三个参数可以自定义实时预览的回调方法，回调方法的调用如下
代码例子如下
class FRealDataCallBack implements HCNetSDK.FRealDataCallBack_V30 {
//预览回调
public void invoke(NativeLong lRealHandle, int dwDataType, ByteByReference pBuffer, int dwBufSize, Pointer pUser) {
HWND hwnd = new HWND(Native.getComponentPointer(panelRealplay));
switch (dwDataType) {
case HCNetSDK.NET_DVR_SYSHEAD: //系统头
if (!playControl.PlayM4_GetPort(m_lPort)) //获取播放库未使用的通道号
{
break;
}
if (dwBufSize > 0) {
if (!playControl.PlayM4_SetStreamOpenMode(m_lPort.getValue(), PlayCtrl.STREAME_REALTIME)) //设置实时流播放模式
{
break;
}
if (!playControl.PlayM4_OpenStream(m_lPort.getValue(), pBuffer, dwBufSize, 1024 * 1024)) //打开流接口
{
break;
}
if (!playControl.PlayM4_Play(m_lPort.getValue(), hwnd)) //播放开始
{
break;
}
}
case HCNetSDK.NET_DVR_STREAMDATA: //码流数据
if ((dwBufSize > 0) && (m_lPort.getValue().intValue() != -1)) {
if (!playControl.PlayM4_InputData(m_lPort.getValue(), pBuffer, dwBufSize)) //输入流数据
{
break;
}
}
}
}
}
pBuffer.getValue()就是流数据
1.2 海康视频转码
1.2.1 思路1 将byte[]转成视频文件（.flv），再在前端进行播放
/**
* 将字节流转换成文件
* @param filename
* @param data
* @throws Exception
*/
public static void saveFile(String filename,byte [] data)throws Exception{
if(data != null){
String filepath ="D:\\" + filename;
File file = new File(filepath);
if(file.exists()){
file.delete();
}
FileOutputStream fos = new FileOutputStream(file);
fos.write(data,0,data.length);
fos.flush();
fos.close();
}
}
优点：不依赖其他中间件，纯代码实现，部署简单，代码编写也简单
缺点:
这样虽然能播放视频，但是直播流的视频都是实时的，而不是一个完整的flv视频文件，如果要实现直播流，要分割成很多个文件，然后一次播放，而且视频延时很大，前端要以此播放转好的视频，前端代码实现麻烦
1.2.2 思路2：byte[] —> PipedOutputStream —> PipedInputStream —>FFmpegFrameGrabber
byte{} 转为 PipedOutputStream
//byte{} 转为 PipedOutputStream
PipedInputStream inputStream = new PipedInputStream(byte);
PipedOutputStream outputStream = new PipedOutputStream();
inputStream.connect(outputStream);
// PipedInputStream —> FFmpegFrameGrabber
FFmpegFrameGrabber ff = new MyFFmpegFrameGrabber(InputStream inputStream)
参考博客：https://blog.csdn.net/weixin_40777510/article/details/105840823
缺点：播放3路视频以上cpu占用率过高，过于占用服务器资源，而且长时间播放 JavaCV 经常出现 OOM ，暂无法解决
1.2.3 思路3 获取海康视频的rtnp地址，通过JavaCV推送到视频流
步骤：拉取rtnp视频流—>FFmpeg将视频流转成FLV流视频—>推送到nginx服务器
——>返回播放地址给前端
具体流程图如下
前端就可以用Flv.js进行播放了
grabber = new MyFFmpegFrameGrabber(pojo.getRtsp());
grabber.setOption("rtsp_transport", "tcp");
// 设置采集器构造超时时间
grabber.setOption("stimeout", "2000000");
if ("sub".equals(pojo.getStream())) {
grabber.start(videoPushConfig.getSub_code());
} else if ("main".equals(pojo.getStream())) {
grabber.start(videoPushConfig.getMain_code());
} else {
grabber.start(videoPushConfig.getMain_code());
}
// 部分监控设备流信息里携带的帧率为9000，如出现此问题，会导致dts、pts时间戳计算失败，播放器无法播放，故出现错误的帧率时，默认为25帧
if (grabber.getFrameRate() > 0 && grabber.getFrameRate() < 100) {
framerate = grabber.getFrameRate();
} else {
framerate = 25.0;
}
int width = grabber.getImageWidth();
int height = grabber.getImageHeight();
// 若视频像素值为0，说明拉流异常，程序结束
if (width == 0 && height == 0) {
log.error(pojo.getRtsp() + " 拉流异常！");
grabber.stop();
grabber.close();
release();
return;
}
recorder = new FFmpegFrameRecorder(pojo.getRtmp(), grabber.getImageWidth(), grabber.getImageHeight());
recorder.setInterleaved(true);
// 关键帧间隔，一般与帧率相同或者是视频帧率的两倍
recorder.setGopSize((int) framerate * 2);
// 视频帧率(保证视频质量的情况下最低25，低于25会出现闪屏)
recorder.setFrameRate(framerate);
// 设置比特率
recorder.setVideoBitrate(grabber.getVideoBitrate());
// 封装flv格式
recorder.setFormat("flv");
// h264编/解码器
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
recorder.setPixelFormat(avutil.AV_PIX_FMT_YUV420P);
Map<String, String> videoOption = new HashMap<>();
// 该参数用于降低延迟
videoOption.put("tune", "zerolatency");
/**
** 权衡quality(视频质量)和encode speed(编码速度) values(值)： *
* ultrafast(终极快),superfast(超级快), veryfast(非常快), faster(很快), fast(快), *
* medium(中等), slow(慢), slower(很慢), veryslow(非常慢) *
* ultrafast(终极快)提供最少的压缩（低编码器CPU）和最大的视频流大小；而veryslow(非常慢)提供最佳的压缩（高编码器CPU）的同时降低视频流的大小
*/
videoOption.put("preset", "ultrafast");
// 画面质量参数，0~51；18~28是一个合理范围
videoOption.put("crf", "28");
recorder.setOptions(videoOption);
AVFormatContext fc = grabber.getFormatContext();
recorder.start(fc);
log.debug("开始推流 设备信息：[ip:" + pojo.getIp() + " channel:" + pojo.getChannel() + " stream:"
+ pojo.getStream() + " starttime:" + pojo.getStarttime() + " endtime:" + pojo.getEndtime()
+ " rtsp:" + pojo.getRtsp() + " url:" + pojo.getUrl() + "]");
// 清空探测时留下的缓存
grabber.flush();
AVPacket pkt = null;
long dts = 0;
long pts = 0;
int timebase = 0;
for (int no_frame_index = 0; no_frame_index < 10 && err_index < 5;) {
long time1 = System.currentTimeMillis();
if (exitcode == 1) {
break;
}
pkt = grabber.grabPacket();
if (pkt == null || pkt.size() == 0 || pkt.data() == null) {
// 空包记录次数跳过
log.warn("JavaCV 出现空包 设备信息：[ip:" + pojo.getIp() + " channel:" + pojo.getChannel() + " stream:"
+ pojo.getStream() + " starttime:" + pojo.getStarttime() + " endtime:" + " rtsp:"
+ pojo.getRtsp() + pojo.getEndtime() + " url:" + pojo.getUrl() + "]");
no_frame_index++;
continue;
}
// 过滤音频
if (pkt.stream_index() == 1) {
av_packet_unref(pkt);
continue;
}
// 矫正sdk回调数据的dts，pts每次不从0开始累加所导致的播放器无法续播问题
pkt.pts(pts);
pkt.dts(dts);
err_index += (recorder.recordPacket(pkt) ? 0 : 1);
// pts,dts累加
timebase = grabber.getFormatContext().streams(pkt.stream_index()).time_base().den();
pts += timebase / (int) framerate;
dts += timebase / (int) framerate;
// 将缓存空间的引用计数-1，并将Packet中的其他字段设为初始值。如果引用计数为0，自动的释放缓存空间。
av_packet_unref(pkt);
long endtime = System.currentTimeMillis();
if ((long) (1000 /framerate) - (endtime - time1) > 0) {
Thread.sleep((long) (1000 / framerate) - (endtime - time1));
}
参考这篇博客
https://blog.csdn.net/weixin_40777510/article/details/103764198
利用Nginx搭建视频流服务器
1.安装nginx
此此过程可以看我之前的博客
https://www.cnblogs.com/xiaodou00/p/13470548.html
2.安装rtmp视频流插件以及flv视频插件
链接：https://pan.baidu.com/s/1a5tmB1lwmb0ON_BRGB4XxQ
提取码：1111
3,把现在好的插件上传的linux服务器，执行动态添加模块的指令./configure
configure是nginx下载下来以后自带的一个脚本文件，如果发现nginx目录下没有configure这个脚本，重新下载一个nginx，添加该脚本
eg:
./configure --add-module=../nginx-rtmp-module-master
4,编译nginx
make
5.备份sbin中的nginx主文件，复制新编译的nginx文件到sbin中
cp /opt/nginx-1.9.5/sbin/nginx /opt/nginx-1.9.5/sbin/nginx.bak
# cp ./objs/nginx /opt/nginx-1.9.5/sbin/
6.重新运行nginx
nginx -s stop
nginx
7.查看nginx中的插件
nginx -v
看看有没有之前上面添加的两个模块
8.修改nginx配置文件
添加rtmp应用
rtmp {
server {
listen 1935; # 监听端口
chunk_size 4000;
application live33 {
live on;
gop_cache on;
}
}
}
9.添加flv的http监听路径
server {
listen 8090;
server_name test72.qtopay.cn 127.0.0.1;
location /stat { #第二处添加的location字段。
rtmp_stat all;
rtmp_stat_stylesheet stat.xsl;
}
location /stat.xsl { #第二处添加的location字段。
root /usr/local/nginx/nginx-rtmp-module-master/;
}
location /rtmpLive {
flv_live on;
chunked_transfer_encoding on; #open 'Transfer-Encoding: chunked' response
add_header 'Access-Control-Allow-Credentials' 'true'; #add additional HTTP header
add_header 'Access-Control-Allow-Origin' '*'; #add additional HTTP header
add_header Access-Control-Allow-Headers X-Requested-With;
add_header Access-Control-Allow-Methods GET,POST,OPTIONS;
add_header 'Cache-Control' 'no-cache';
}
}
