说下 winOS / IOS / android /Linux 视频、音频 编码解码问题
最近有朋友遇到一个问题, ios 上传视频文件,想在本地压缩下,然后再上传到服务器。
问有没有什么 视频处理的库,
最近Khronos的webgl 支持HTML5 ,(原理 WebGL 是openGL,openES的库》JS接口》解码HTML5的canvas数据 )
流程反过来 也可以看成是 浏览器 HTML5的canvas 的数据 ==》通过调用JS访问 WebGL ==》WebGL 访问openGL,opengES 进行软硬解码 。
我想这应该是浏览器 最好的选择。
windows/linux :
我第一个想到的是ffmpeg (windows/linux 下 软、硬解码都支持)
然后是其他各种播放器,的 软硬 编码、解码
IOS:
ios8 之后已经开放了H264硬解的API了
AVAssetExportSession
AVFoundation里面的
http://www.zhihu.com/question/20692215
iOS 系统中,H.264 视频流可以硬件解码吗? 具体如何实现?
demo
https://github.com/adison/-VideoToolboxDemo
https://github.com/stevenyao/iOSHardwareDecoder
android :
- androidAPI
使用VideoView和MediaPlayer都可以播放视频,这两个类到底是什么不同呢?
VideoView 调用了 MediaPlayer 来播放视频,提供了一些视频播放的辅助功能。
PS.有人说android 设备太多(GPU不一样)硬解码 会有问题,
libstagefrighthw.so
2.ffmpeg
- 需要验证再添加
4.类似VLC,mplayer 也应该支持硬解码 所以从各个播放器的 开源代码中寻找线索,可能会有所发现
我想 持续整理下 这方面的资料,以下是网上收集来的
http://www.eoeandroid.com/thread-288058-1-1.html
1、用Android4.1 API MediaCodec来对视频数据进行编码
http://stackoverflow.com/q/17232477/2293921
http://stackoverflow.com/questions/17232477/how-to-use-android-mediacodec-encode-camera-datayuv420sp/17288070#17288070
以上网址相同 ,概括:How to use Android MediaCodec encode Camera data(YUV420sp)
2、通过MediaRecorder方式对数据进行编码
具体可参考http://blog.csdn.net/zblue78/article/details/6083374
3、通过移植ffmpeg
http://www.cnblogs.com/dwdxdy/p/3247075.html
概括:NVCUVENC库是NVIDIA公司提供的视频编码库,可以实现H.264的GPU编码,接收原始YUV frames数据,编码产生NAL packets。
https://github.com/yixia/VitamioBundle
https://www.vitamio.org/Document/Introduction/2013/0429/3.html
概括:
由于收费,所以不考虑。
Vitamio 是一款 Android 与 iOS 平台上的全能多媒体开发框架,全面支持硬件解码与 GPU 渲染。Vitamio 凭借其简洁易用的 API 接口赢得了全球众多开发者的青睐。到目前,全球已经有超过 100 种应用在使用 Vitamio,覆盖用户超过 2000 万。
音频和视频格式
Vitamio 使用了 FFmpeg 做为媒体解析器和最主要的解码器,同时开发了针对不同移动平台的硬解码方案,能够完美支持 H.264/AVC、H.263、 MPEG4 等常见的视频编码,覆盖上百种多媒体格式。下表只是一些最常见的视频格式支持,除特殊标明,全部支持硬件加速:
DivX/Xvid
WMV (一般只有软解码)
FLV
TS/TP
RMVB (只有软解码)
MKV
MOV
M4V
AVI
MP4
3GP
使用Android中的StageFright框架调用OpenMAX进行硬件编码,OMX部分由硬件厂商实现,无需关注,看好StageFright的调用方法即可
自己写解码264文件,如果用view显示,就需要转成bitmap显示,或者使用opengl可以显示yuv数据
如果已经保存成MP4格式的文件,就不需要解码了,通过mediaplayer就能播