javaCV入门指南:序章

JavaCV入门指南系列:

JavaCV入门指南:序章(看完本章后,不想看原理的小伙伴可直接跳转到《快速上手篇》)

JavaCV入门指南:调用FFmpeg原生API和JavaCV是如何封装了FFmpeg的音视频操作

JavaCV入门指南:调用opencv原生API和JavaCV是如何封装了opencv的图像处理操作

JavaCV入门指南:帧抓取器(FrameGrabber)的原理与应用

JavaCV入门指南:帧录制器/推流器(FrameRecorder)的原理与应用

JavaCV入门指南:帧过滤器(FrameFilter)的原理与应用

JavaCV入门指南:FrameConverter转换工具类及CanvasFrame图像预览工具类(完结篇)

《快速上手篇》(为了区别,单独划分):

JavaCV入门指南之快速上手篇:快速上手视频拉流、推流、录制文件、录屏、截图和编解码复用解复用等常用音视频处理操作

javaCV实战系列文章:

javacv开发详解之1:调用本机摄像头视频

javaCV开发详解之2:推流器实现,推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)

javaCV开发详解之3:收流器实现,录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)

javaCV开发详解之4:转流器实现(也可作为本地收流器、推流器,新增添加图片及文字水印,视频图像帧保存),实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)

javaCV开发详解之5:录制音频(录制麦克风)到本地文件/流媒体服务器(基于javax.sound、javaCV-FFMPEG)

javaCV开发详解之6:本地音频(话筒设备)和视频(摄像头)抓取、混合并推送(录制)到服务器(本地)

javaCV开发详解之7:让音频转换更加简单,实现通用音频编码格式转换、重采样等音频参数的转换功能(以pcm16le编码的wav转mp3为例)

javaCV开发详解之8:转封装在rtsp转rtmp流中的应用(无须转码,更低的资源消耗,更好的性能,更低延迟)

javaCV开发详解之9:基于gdigrab的windows屏幕画面抓取/采集(基于javacv的屏幕截屏、录屏功能)

javaCV开发详解之10:基于dshow调用windows摄像头视频和音频,想要获取屏幕画面首选gdigrab

javaCV开发详解之11:视频文件转gif动态图片实现,也支持摄像机、桌面屏幕、流媒体等视频源转gif

javaCV开发详解之12:视频转apng动态图片实现,支持透明通道支持摄像机、桌面屏幕、流媒体等视频源转apng动态图

javaCV开发详解之13:使用FFmpeg Filter过滤器处理音视频

javaCV开发详解之14:音频重采样

javaCV开发详解之15:视频帧像素格式转换

javaCV开发详解之16:使用一张图片推流和一张图片录制成视频文件

javaCV开发详解之17:GIF和APNG动态图片推流和录制成视频文件(以gif转mp4为例)

javaCV开发详解之18:音视频转码(音频编解码和视频编解码)

JavaCV开发详解之19:如何开启GPU硬件加速,使用JavaCV进行音视频的硬解码和硬编码

JavaCV开发详解之20:如何使用JavaCV制作ico图标,图片和视频生成ico图标,视频流录制ico图标

JavaCV开发详解之21:如何使用JavaCV接入gb28181的ps流并推流到流媒体服务和接入海康大华sdk回调h264/hevc裸流

JavaCV开发详解之22:http-flv拉流和http-flv推流及rtmp拉流和rtmp推流实例和flv,live_flv格式说明

JavaCV开发详解之23:hls视频录制,m3u8切片录制和fmp4切片录制详解

JavaCV开发详解之24:使用javacv录制dash视频分片,mpeg-dash视频录制和制作

JavaCV开发详解之25:使用javacv保存raw视频像素格式(yuv或者rgb),并使用ffplay播放raw
JavaCV开发详解之26:使用javacv对视频进行连续截图和覆盖截图,支持png,jpg,bmp等格式快速连续截图,适用于视频快照
JavaCV开发详解之27:使用javacv把视频切割成多个视频分片文件,以mp4为例,把视频切割成MP4分片文件

JavaCV开发详解之28:如何使用javacv进行多图推流和多图合成视频文件,以批量jpg图片推流rtmp和jpg合成flv视频文件为例

补充篇:

javaCV开发详解补充篇:基于avfoundation的苹果Mac和ios获取屏幕画面及录屏/截屏以及摄像头画面和音频采样获取实现

javaCV开发详解之GIF动态图片录制补充篇:windows桌面屏幕画面录制成gif动态图片,支持桌面任意取域生成gif,可扩展支持MacOS/安卓/linux等平台,可扩展支持apng动态图片

音视频编解码问题:javaCV如何快速进行音频预处理和解复用编解码(基于javaCV-FFMPEG)

音视频编解码问题:16/24/32位位音频byte[]转换为小端序short[],int[],以byte[]转short[]为例

实现给图片增加图片水印或者文字水印(也支持视频图像帧添加水印)

java原生实现屏幕设备遍历和屏幕采集(捕获)等功能

流媒体直播实时视频延迟时间排查和剖析

javacv文字识别系列:

javaCV文字识别之1:基于google的tesserac ocr识别图片中的文字,跨平台支持英文中文简体繁体等各种字符识别

javaCV文字识别之2:视频文字识别和视频提取字幕文字字符

javacpp-ffmpeg系列:

javacpp-FFmpeg系列之1:视频拉流解码成YUVJ420P,并保存为jpg图片

javacpp-FFmpeg系列之2:通用拉流解码器,支持视频拉流解码并转换为YUV、BGR24或RGB24等图像像素数据

javacpp-FFmpeg系列之3: 图像数据转换(BGR与BufferdImage互转,RGB与BufferdImage互转)

javacpp-FFmpeg系列补充:FFmpeg解决avformat_find_stream_info检索时间过长问题

javacpp-opencv系列:

一、javaCV图像处理之1:实时视频添加文字水印并截取视频图像保存成图片,实现文字水印的字体、位置、大小、粗度、翻转、平滑等操作

二、javaCV图像处理之2:实时视频添加图片水印,实现不同大小图片叠加,图像透明度控制

三、javacv图像处理3:使用opencv原生方法遍历摄像头设备及调用(方便多摄像头遍历及调用,相比javacv更快的摄像头读取速度和效率,方便读取后的图像处理)

四、javacv图像处理系列:国内车辆牌照检测识别系统(万份测试准确率99.7%以上)

 

前言

从2016年6月开始写《javacv开发详解》系列,到而今的《javacv入门指南》,虽然仅隔了两年多时间,却也改变了很多东西。

比如我们的流媒体技术群从刚开始的两三个人发展到现在的三个500人群。又比如博主刚开始也想放弃,期间自行脑洞内心挣扎的场面也就不详说了,结果是现在还在坚持更新博客。当然这期间离不开群里小伙伴们一直以来的陪伴和支持,感谢大家一起默默为java流媒体技术踩坑,踩的多了也就真的成了路(也可能踩成深坑 )。另外感谢雷霄骅博士的ffmpeg博客,给予博主很大帮助,2016年刚开始接触ffmpeg就忽闻博士去世,甚为感慨,大家且行且珍惜吧。

以前从来不觉得java可以做流媒体、音视频编解码这些,直到现在,顶多说java做流媒体是非主流。业界广泛应用的librtmp、live555、ffmpeg也都是c/c++的库,刚开始也确实尝试过使用jni方式调ffmpeg,发现做起来吃力不讨好,后来在github发现了新大陆:javaCV。

有,总比没有强。虽然连个API文档都没有,通过github项目描述的那可怜的几个字勉勉强强知道它对ffmpeg、opencv等等等十几个库做了封装,用javacpp方式为fmpeg、opencv等库编译了各个系统环境的包方便跨平台调用。

一些题外话

踩坑到今天,可能还会有许多人踌躇疑惑javacv除了可以在音视频和图像处理这块稍微可以施展手脚外,还可以做什么?除了这些,在应对各种纷繁复杂的流媒体协议(rtp/rtsp/rtmp/flv/hls等等)也不在话下,当然一些小众和国产协议(比如sip/gb28181/jtt178等)可能需要依赖netty/mina等网络库来实现,编解码上结合javaCV,性能上也已经没有什么顾虑。另外在深度学习领域,deeplearning4j借助javaCV的东风令java在深度学习领域也同样引领风骚。

 

本系列将结合《javacv开发详解》系列作为实战教程,结合实例,力求简单易懂,快速上手。

一、老生常谈

javaCV能做什么,既然是"CV"大法,那自然是计算机视觉领域的库,诸如音视频、流媒体、图像处理、深度学习、机器学习、人工智能等等等(现在流行后面这三个,写上去应该能唬住不少人,deeplearning晓得不,里面一堆的javaCV库没发现吗)。

 

二、入门基础

以上全是些空话,我们无非就是要用javaCV采集视频和音频,给这些音视频编解码,然后是用什么封装格式封装这些音视频数据,以及用什么协议传输,可能还要对视频里的图像进一步进行处理(这个属于图像处理范畴),流程大致如此(音频方面了解不多,大家见谅):

 

完整阅读本章:https://blog.csdn.net/eguid_1/article/details/82875343

 

posted @ 2018-09-28 10:17  eguid  阅读(4691)  评论(0编辑  收藏  举报