Java调本地摄像头推流到服务器

JAVA CV 开发

我这个项目最终还是要要用在安卓的机器上的，但是安卓那边说推流推不了，我只好自己先试试电脑的本地摄像头，后面再准备把这个打包给安卓，这个是我本人在学习Java CV 所做的一个总结

项目地址 https://github.com/lingfenghu/java-cv

参考：

https://www.w3cschool.cn/opencv/

https://blog.csdn.net/eguid_1/article/details/51659578

OpenCV示例

https://www.cnblogs.com/crow9527/p/13722691.html

常见错误：

org.bytedeco.javacv.FrameRecorder$Exception: avio_open2 error() error -138: Could not open 'null'

解决：https://blog.csdn.net/weixin_40777510/article/details/105843741

需要使用 nginx服务代理推送流这个具体去看 rtsp转rtmp 那篇博客

关闭摄像头录像报错

org.bytedeco.javacv.FrameGrabber$Exception: videoInput.getPixels() Error: Could not get pixels.

解决：

javacv-platform 版本升级为 1.5.4 能解决大部分问题，只需要引这一个依赖

<dependency>
  <groupId>org.bytedeco</groupId>
  <artifactId>javacv-platform</artifactId>
  <version>1.5.4</version>
</dependency>

多线程控制

https://cloud.tencent.com/developer/article/1155102

类对象在内存唯一

https://cloud.tencent.com/developer/article/1158707

获取配置文 .properties 件内容

https://www.cnblogs.com/sebastian-tyd/p/7895182.html

推流器

代码内容推流和加水印

OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0);//如果有多个摄像头请改这个。0表示第一个
//360p 480x360 或 480p 640x480
grabber.setImageWidth(480);
grabber.setImageHeight(360);
grabber.start();   //开始获取摄像头数据
 
CanvasFrame frame = new CanvasFrame("camera");//新建一个窗口
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setAlwaysOnTop(true);
 
OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();//转换器
IplImage grabbedImage = converter.convert(grabber.grab());//抓取一帧视频并将其转换为图像，至于用这个图像用来做什么？加水印，人脸识别等等自行添加
 
// 水印文字位置
Point point = new Point(50, 30);
// 颜色，使用黄色
Scalar scalar = new Scalar(0, 255, 255, 0);
 
int width = grabbedImage.width();
int height = grabbedImage.height();
 
FrameRecorder recorder = FrameRecorder.createDefault(outputFile, width, height);
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); // avcodec.AV_CODEC_ID_H264，编码
recorder.setFormat("flv");//封装格式，如果是推送到rtmp就必须是flv封装格式
recorder.setFrameRate(frameRate);
recorder.start();//开启录制器
long startTime = 0;
long videoTS = 0;
Mat mat = null;
Frame rotatedFrame = converter.convert(grabbedImage);//不知道为什么这里不做转换就不能推到rtmp
while ((grabbedImage = converter.convert(grabber.grab())) != null) {
    String now = sdf.format(System.currentTimeMillis());
    rotatedFrame = converter.convert(grabbedImage);
     
    // 取一帧视频（图像），并转换为Mat
    mat = converter.convertToMat(rotatedFrame);
    opencv_imgproc.putText(mat, now, point, opencv_imgproc.INTER_LINEAR, 1.2, scalar);
    frame.showImage(converter.convert(mat));
    if (startTime == 0) {
        startTime = System.currentTimeMillis();
    }
    videoTS = 1000 * (System.currentTimeMillis() - startTime);
    recorder.setTimestamp(videoTS);
    recorder.record(rotatedFrame);
    //和帧率相关，不设置则是全帧率
    Thread.sleep(40);
}
mat.release();
mat.close();
frame.dispose();//关闭窗口
recorder.close();//关闭推流录制器，close包含release和stop操作
grabber.close();//关闭抓取器

本地摄像头加水印

https://blog.csdn.net/weixin_30563917/article/details/96963308

https://www.cnblogs.com/eguid/p/6821579.html

https://blog.csdn.net/eguid_1/article/details/58027720

添加水印出错

java.lang.NullPointerException: Pointer address of argument 0 is NULL.

解决：

mat不能在循环中关闭或释放

关键代码

// 水印文字位置
Point point = new Point(30, 30);
// 颜色，使用黄色
Scalar scalar = new Scalar(0, 255, 255, 0);
...
mat = converter.convertToMat(rotatedFrame);
// 加文字水印，opencv_imgproc.putText（图片，水印文字，文字位置，字体，字体大小，字体颜色
opencv_imgproc.putText(mat,"111",point,1,1.2,scalar);
 
frame.showImage(converter.convert(mat));

去水印参考：

https://www.jb51.net/article/165113.htm

收流器

rtmp流测试

湖南TV rtmp://58.200.131.2:1935/livetv/hunantv

https://blog.csdn.net/eguid_1/article/details/52680802

https://www.cnblogs.720com/pijunqi/p/14251629.html

FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);
//分辨率
grabber.setImageWidth(480);
grabber.setImageHeight(360);
// 流媒体输出地址，分辨率（长，高），是否录制音频（0:不录制/1:录制）
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, 480, 360, audioChannel);
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
recorder.setFormat("flv");
//建议在线程中使用该方法
try {
    grabber.start();
    recorder.start();
    Frame frame = null;
    while (status&& (frame = grabber.grabFrame()) != null) {
        recorder.record(frame);
        Thread.sleep(40);
        System.out.println(sdf.format(System.currentTimeMillis()));
    }
    recorder.stop();
    grabber.stop();
} finally {
    if (grabber != null) {
        grabber.stop();
    }
}
 
问题：
1、 发现保存下的视频播放非常快，两倍速，分析发现视频帧将近一半丢失
https://www.cnblogs.com/svenwu/p/9663038.html
其他因素： 收流线程不能像发流那样设置线程睡眠
grabber.setOption("http_transport","tcp");
grabber.setFrameRate(25);
...
recorder.setFrameRate(25);
//一般考虑比推流器发送的视频比特流大，如下图
recorder.setVideoBitrate(1000 * 1000);

问题：

1、发现保存下的视频播放非常快，接近两倍速，分析发现视频帧将近一半丢失

解决：

https://www.cnblogs.com/svenwu/p/9663038.html

其他因素：收流线程不能像发送流那样设置线程睡眠

收流器的 grabber 和 recorder 都要设置帧率

grabber.setOption("http_transport","tcp");
grabber.setFrameRate(25);
...
recorder.setFrameRate(25);
//一般考虑比推流器发送的视频比特流大，如下图
recorder.setVideoBitrate(1000 * 1000);