js获取视频编码格式信息
遇到问题
在开发中，测试反馈了一个问题，就是在前端上传视频后，视频无法回显，显示黑屏。
于是我要来了测试上传的视频，看了下后缀名是.mp4， 用vlc打开播放正常，于是我开始了爬坑之旅。
查找原因
因为后缀名和播放都是正常的，先考虑是不是视频编码格式问题。
首先查看MDN文档，查看html支持的视频格式，了解到支持的视频后缀有如下： mp4, webm, ogg，那我们的mp4的视频类型应该没有问题的。
那就开始看看视频编码格式问题，查看视频编码的方法我们就用vlc打开视频:
可以看到，显示的codec是mp4v:
为了验证是不是编码格式的问题，用录屏软件和手机分别拍摄了一些视频做了测试，测试结果如下：
| 视频格式 | 视频编码信息（VLC） | 网页能否正常播放 |
|---|---|---|
| ev录制mp4 | H264-MPEG-4 AVC(part10 avc1) | 正常 |
| ev录制avi | MPEG-4 Video(FMP4) | 异常 |
| ev录制flv | Flash-Video (FLV1) | 异常 |
| ev录制wmv | MS-MPEG-4-Video v3(MP43) | 异常 |
| qq桌面端录制 | MPEG-4 Video(MP4V) | 异常 |
| qq手机端录制 | H264-MPEG-4 AVC(part10 avc1) | 正常 |
| tim录制 | H264-MPEG-4 AVC(part10 avc1) | 正常 |
| 微信录制 | H264-MPEG-4 AVC(part10 avc1) | 正常 |
根据上述结果可以看到，编码格式(codec)和文件类型(type，后缀名)会导致视频无法正常播放。
备注：
ev是windows下的一款录屏软件，测试提供的视频就是用qq桌面端功能录制的视频。
解决问题
目前前端操作，获取文件类型倒是比较简单，一般传输图片、文本等等都是根据file.type和file.name来判断是否允许上传。
但是我们这里只获取name和type也无法判断，我们上传的视频能否正常播放了。我找了很久的之后，发现了github上大神的写的一个框架 mp4box.js 可以帮助我们解决这个问题。
mp4box
- 安装
npm i mp4box -S
- 导入
import MP4Box from 'mp4box'
- 校验代码
async videoBeforeUpload(file) {
const isVideo = file.type === 'video/mp4' || file.type === 'video/ogg' || file.type === 'video/webm';
const isLt30M = file.size / 1024 / 1024 < 30;
if (!isVideo) {
this.$message.warning('请上传正确格式的视频！');
return Promise.reject()
} else {
if (!isLt30M) {
this.$message.warning('上传视频文件大小不能超过 30MB!');
return Promise.reject()
}
}
// 正确的视频后缀会有mime信息
let result = await this.checkVideoCode(file)
let valid = this.getCodecValid(result.mime)
if (!valid) {
this.$message.error('请上传正确的视频编码格式')
return Promise.reject()
}
},
async checkVideoCode(file) {
return new Promise((resolve, reject) => {
const mp4boxFile = MP4Box.createFile();
const reader = new FileReader();
reader.readAsArrayBuffer(file);
reader.onload = function (e) {
const arrayBuffer = e.target.result;
arrayBuffer.fileStart = 0;
mp4boxFile.appendBuffer(arrayBuffer);
};
mp4boxFile.onReady = function (info) {
resolve(info)
};
mp4boxFile.onError = function (info) {
reject(info)
};
})
},
getCodecValid(str) {
let arr = str.split(';')
return !!(arr[1].includes('mp4a') || arr[1].includes('avc1'));
},
因为我是用了elementUI框架的组件，所以返回的值都是promise类型，大家自行修改为return false 就行了。因为判断codec 我感觉比较复杂(我懒)，所以我用了和类型判断和getCodecValid 简单的判断了一下编码格式。
通过这两种方式，我们可以获取到不能播放的视频格式了。接下来的处理大家各取所需，可以让用户继续传，但是没办法观看，让后端转码。或者直接拦截，不让用户传。或者提示，你传了可以，网页观看不了，自己下载下来观看。
其他框架
在发现和解决问题的过程中，我发现了几个不错的视频组件和转码框架。
- bilibili的flv格式视频播放解决方案：flv.js
- 视频播放组件：Mui Player
- 常用的视频处理库：video.js
补充测试视频codec信息
| 视频格式 | 视频编码信息（VLC） | codec信息（MP4BOX） | 网页能否正常播放 |
|---|---|---|---|
| ev录制mp4 | H264-MPEG-4 AVC(part10 avc1) | video/mp4; codecs="avc1.42c028"; profiles="isom,iso2,avc1,mp41" | 正常 |
| ev录制avi | MPEG-4 Video(FMP4) | null | 异常 |
| ev录制flv | Flash-Video (FLV1) | null | 异常 |
| ev录制wmv | MS-MPEG-4-Video v3(MP43) | null | 异常 |
| qq桌面端录制 | MPEG-4 Video(MP4V) | application/mp4; codecs="mp4v"; profiles="isom,iso2,mp41" | 异常 |
| qq手机端录制 | H264-MPEG-4 AVC(part10 avc1) | video/mp4; codecs="avc1.640020,mp4a.40.2"; profiles="isom,iso2,avc1,mp41" | 正常 |
| tim录制 | H264-MPEG-4 AVC(part10 avc1) | video/mp4; codecs="avc1.64001f,mp4a.40.2"; profiles="isom,iso2,avc1,mp41" | 正常 |
| 微信录制 | H264-MPEG-4 AVC(part10 avc1) | video/mp4; codecs="mp4a.40.2,avc1.64001f"; profiles="mp42,isom" | 正常 |
