FFmpeg在JAVA中的使用以及Process.waitFor()引发的阻塞问题
此文已由作者叶海啸授权网易云社区发布。
欢迎访问网易云社区，了解更多网易技术产品运营经验。
FFmpeg是一个开源免费跨平台的视频和音频流方案，可以快速对音视频流进行多方面的处理，本文主要介绍FFmpeg常用的命令与参数讲解，如何在JAVA中使用FFmpeg以及遇到的一些问题。
背景
项目需求中涉及到有关于视频、音频的一系列处理，包含视频中音频提取、视频首帧提取、音频重采样、字幕压缩的功能，一直在研究ffmpeg，仅仅几个功能，却深受ffmpeg的折磨。
今天谈谈ffmpeg在java中的简单使用，首先下载ffmpeg包，官方地址：http://ffmpeg.org/download.html， 这里建议下载Linux Static Builds版本的，轻小而且解压后可以直接使用，本人使用的版本是ffmpeg-git-20170922-64bit-static.tar.xz。
解压之后，文件夹中有一个可执行文件ffmpeg，在linux上可以直接运行./ffmpeg -version，可以查看ffmpeg的版本信息，以及configuration配置信息。
基本命令
视频中音频提取：ffmpeg -i [videofile] -vn -acodec copy [targetaudiofile]
视频首帧提取：ffmpeg -i [videofile] -vframes 1 -q:v 2 -f image2 [imagefile]
音频重采样：ffmpeg -i [audiofile] -ar [samplingrate] [targetaudiofile]
字幕压缩：ffmpeg -i [videofile] -vf subtitles=[subtitle.srt] [targetvideofile]
命令说明
audiofile、videofile是音视频源文件，可以是本地文件，也可以是网络文件URL；
提取音频流时，-vn 忽略视频流 -acodec 设定声音编解码器，未设定时则使用与输入流相同的编解码器，如果需要提取视频流，则参数变为-an -vcodec；
-vframes 表示提取的第几帧，获取第一桢则后面的值为1，如果后面的值大于1，那么最后的[imagefile]不能指定一个文件，不然会报错，如下
指定了输出的文件名为“1.jpeg”，报错：不能从1.jpeg文件中获取第二帧的文件名，因为-vframes只要大于1，则会提取出每一帧的图片，建议使用如%03d.jpeg来作为文件名，那么它解析的结果便是001.jpeg，002.jpeg，...依次编号往后；
-q:v 2 q代表质量quality, v代表视频流，2是控制质量的参数；-f指定输出的格式是image2；
除了使用-vframes来获取视频帧，还有使用-ss参数来获取，-ss后的时间参数是自行设定，并且在视频的有效时间内（格式为00:00:00），使用-ss时，如果没有使用%03d.jpeg来作为文件名，则获取的是-ss参数指定的那个时间的帧；
-ar表示使用新的采样率，常用的有8,000Hz、16,000Hz、22,050Hz、32,000Hz、44,100Hz；
subtitle.srt是字幕文件（中文字幕即把英文变为中文，其它格式一致），这边就使用最简单的srt标准格式，srt文件写入的字符编码需要是UTF-8，否则压缩的时候会报无法读取srt文件；
若想压缩中文字幕，需要系统中有中文字体，使用fc-list查询系统支持的字体，fc-list :lang=zh查询支持的中文字体
JAVA使用遇到的问题
一般需要调用系统命令时，大部分人第一反应肯定是使用Runtime.getRuntime().exec(command)返回一个process对象，再调用process.waitFor()来等待命令执行结束，获取执行结果。
产品刚上线，运行很稳定，但是没过多久，产品同学说从某个时间点开始添加的视频都不出来了！因为这个视频必须要经过一系列的处理，才会展示出来，所以中途某个环节出错了。
首先查看了日志，没有发现任何的报错，但是幸好开发的时候加了debug日志，每一句命令exec前后都会打一句log，于是看下是否“开始执行”和“执行成功”两句log都打印了，结果发现在截取首帧的时候，只打印了“开始执行”，一直没有结束，那么猜测进程堵塞了。
但是，我把产品同学的视频拿过来，直接执行提取视频第一帧的命令，提示图片未提取成功，后来发现该视频是产品同学通过某个压缩工具压缩过的，点开视频可以看见黑屏，看不到任何东西，肯定是压缩时把视频压缩出错了，但是截取首帧命令既然执行结束了，按道理不应该一直堵塞啊？
于是通过dump下了内存镜像文件，命令jmap -dump:live,format=b,file=heap.dmp PID，通过jvisualvm工具查看，发现有很多如下的堆栈：
因此可以判断，确实是在截取首帧的时候，进程阻塞了，但是为什么会阻塞？？？
解决方案
查看waitFor()源码可以发现，其实调用的是Object类中的，wait()方法，并且未指定等待时间，那么如果一直不返回，则会一直阻塞。
并且查看了JDK的帮助文档，如下
因此，可以得出结论：如果外部程序不断在向标准输出流（对于jvm来说就是输入流）和标准错误流写数据，而JVM不读取的话，当缓冲区满之后将无法继续写入数据，最终造成阻塞在waitFor()这里。
解决方法：在waitFor()之前，利用单独两个线程，分别处理process的getInputStream()和getErrorSteam()，防止缓冲区被撑满，导致阻塞；
/**
* 处理process输出流和错误流，防止进程阻塞
* 在process.waitFor();前调用
* @param process
*/
private static void dealStream(Process process) {
if (process == null) {
return;
}
// 处理InputStream的线程
new Thread() {
@Override
public void run() {
BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
String line = null;
try {
while ((line = in.readLine()) != null) {
logger.info("output: " + line);
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
// 处理ErrorStream的线程
new Thread() {
@Override
public void run() {
BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
String line = null;
try {
while ((line = err.readLine()) != null) {
logger.info("err: " + line);
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
err.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
}更多网易技术、产品、运营经验分享请点击。
相关文章：
【推荐】 Kubernetes 在网易云中的落地优化实践
【推荐】 寓教于乐——玩转角色互换游戏
