说下 winOS / IOS / android /Linux 视频、音频 编码解码问题

最近有朋友遇到一个问题, ios 上传视频文件,想在本地压缩下,然后再上传到服务器。

问有没有什么 视频处理的库,

最近Khronos的webgl 支持HTML5 ,(原理 WebGL 是openGL,openES的库》JS接口》解码HTML5的canvas数据 )

流程反过来 也可以看成是 浏览器 HTML5的canvas 的数据 ==》通过调用JS访问 WebGL ==》WebGL 访问openGL,opengES 进行软硬解码 。

我想这应该是浏览器 最好的选择。


windows/linux :

我第一个想到的是ffmpeg (windows/linux 下 软、硬解码都支持)
然后是其他各种播放器,的 软硬 编码、解码


IOS:
ios8 之后已经开放了H264硬解的API了

AVAssetExportSession
AVFoundation里面的

http://www.zhihu.com/question/20692215
iOS 系统中,H.264 视频流可以硬件解码吗? 具体如何实现?

demo
https://github.com/adison/-VideoToolboxDemo
https://github.com/stevenyao/iOSHardwareDecoder


android :

  1. androidAPI

使用VideoView和MediaPlayer都可以播放视频,这两个类到底是什么不同呢?
VideoView 调用了 MediaPlayer 来播放视频,提供了一些视频播放的辅助功能。

PS.有人说android 设备太多(GPU不一样)硬解码 会有问题,
libstagefrighthw.so

2.ffmpeg

  1. 需要验证再添加

4.类似VLC,mplayer 也应该支持硬解码 所以从各个播放器的 开源代码中寻找线索,可能会有所发现


我想 持续整理下 这方面的资料,以下是网上收集来的

http://www.eoeandroid.com/thread-288058-1-1.html

1、用Android4.1 API MediaCodec来对视频数据进行编码

http://stackoverflow.com/q/17232477/2293921
http://stackoverflow.com/questions/17232477/how-to-use-android-mediacodec-encode-camera-datayuv420sp/17288070#17288070
以上网址相同 ,概括:How to use Android MediaCodec encode Camera data(YUV420sp)

2、通过MediaRecorder方式对数据进行编码
具体可参考http://blog.csdn.net/zblue78/article/details/6083374

3、通过移植ffmpeg

http://www.cnblogs.com/dwdxdy/p/3247075.html
概括:NVCUVENC库是NVIDIA公司提供的视频编码库,可以实现H.264的GPU编码,接收原始YUV frames数据,编码产生NAL packets。

https://github.com/yixia/VitamioBundle
https://www.vitamio.org/Document/Introduction/2013/0429/3.html
概括:
由于收费,所以不考虑。
Vitamio 是一款 Android 与 iOS 平台上的全能多媒体开发框架,全面支持硬件解码与 GPU 渲染。Vitamio 凭借其简洁易用的 API 接口赢得了全球众多开发者的青睐。到目前,全球已经有超过 100 种应用在使用 Vitamio,覆盖用户超过 2000 万。

音频和视频格式

Vitamio 使用了 FFmpeg 做为媒体解析器和最主要的解码器,同时开发了针对不同移动平台的硬解码方案,能够完美支持 H.264/AVC、H.263、 MPEG4 等常见的视频编码,覆盖上百种多媒体格式。下表只是一些最常见的视频格式支持,除特殊标明,全部支持硬件加速:

DivX/Xvid
WMV (一般只有软解码)
FLV
TS/TP
RMVB (只有软解码)
MKV
MOV
M4V
AVI
MP4
3GP

使用Android中的StageFright框架调用OpenMAX进行硬件编码,OMX部分由硬件厂商实现,无需关注,看好StageFright的调用方法即可


自己写解码264文件,如果用view显示,就需要转成bitmap显示,或者使用opengl可以显示yuv数据

如果已经保存成MP4格式的文件,就不需要解码了,通过mediaplayer就能播


posted @ 2015-09-11 00:22  scott_h  阅读(973)  评论(0编辑  收藏  举报