需要进行简单的音视频编程,如果不是特别熟悉C/C++,那么JavaCV应该是比较好的选择,下面记录一下使用JavaCV H264数据内存读写(PipedInputStream管道流)的方法。
使用管道流需要注意的是PipedInputStream和PipedOutputStream要在不同线程。
整体的流程就是:
- FFmpegFrameRecorder将视频数据塞给PipedOutputStream
- 程序从PipedInputStream中读取视频数据
实现代码:
public class Sample05 { public static void main(String[] args) throws IOException { FFmpegFrameGrabber grabber = new FFmpegFrameGrabber("E:\\lpl.mp4"); grabber.start(); PipedInputStream is = new PipedInputStream(1024 * 1024); PipedOutputStream os = new PipedOutputStream(is); FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(os, grabber.getImageWidth(), grabber.getImageHeight()); recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); recorder.setFormat("h264"); recorder.start(); Thread readThread = new VideoReadThread(is); readThread.start(); Frame frame; while ((frame = grabber.grab()) != null) { if (frame.image != null) { recorder.record(frame); } } recorder.close(); grabber.close(); } }
读取实现跟普通的读InputStream是一样的:
while (!Thread.interrupted()) { if (is.available() > 0) { byte[] bytes = new byte[is.available()]; is.read(bytes); System.out.println("buff.size = " + bytes.length + ", " + bytes[0] + "," + bytes[1] + "," + bytes[2] + "," + bytes[3]); } }
debug日志:
buff.size = 797, 0,0,0,1 buff.size = 274, 0,0,0,1 buff.size = 248, 0,0,0,1 buff.size = 609, 0,0,0,1 buff.size = 308, 0,0,0,1
可以看到,读取的H264帧,是包含NALU起始码的。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)