iOS从零开始学习直播之2.采集
直播的采集由采集的设备(摄像头、话筒)不同分为视频采集和音频采集,本篇文章会分别介绍。
1.采集步骤
1.创建捕捉会话(AVCaptureSession),iOS调用相机和话筒之前都需要创建捕捉对话,把输入输出设备添加进对话中。
2.往会话中添加视频输入对象(AVCaptureDeviceInput)。
3.往会话中添加音频输入对象(AVCaptureDeviceInput)。
4.往会话中添加视频输出对象(AVCaptureVideoDataOutput)。
5.往会话中添加音频输出对象(AVCaptureAudioDataOutput)。
6.添加视屏预览图层(AVCaptureVideoPreviewLayer)。
7.开启会话。
8.推流(以后讲)。
2.效果图
这是后置摄像头采集的,直播一般用前置摄像头的,但是我实在没勇气放出我的自拍😂。
3.代码演示
// 采集
- (void)setupCaputureVideo {
// 1.创建捕获对话,必须要强引用,否则会释放
_captureSession = [[AVCaptureSession alloc] init];
// 2.捕获摄像头设备,默认前置摄像头
AVCaptureDevice *videoDevice = [self getVideoDevice:AVCaptureDevicePositionFront];
// 3.获取声音设备
AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
// 4.创建对应视频设备输入对象
_currentVideoDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:nil];
// 5.创建对应音频设备输入对象
AVCaptureDeviceInput *audioDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:nil];
// 6.添加到会话中 注意:最好要判断是否能添加输入,会话不能添加空的
// 6.1 添加视频
if ([_captureSession canAddInput:_currentVideoDeviceInput]) {
[_captureSession addInput:_currentVideoDeviceInput];
}
// 6.2 添加音频
if ([_captureSession canAddInput:audioDeviceInput]) {
[_captureSession addInput:audioDeviceInput];
}
// 7.捕获视频数据输出设备
AVCaptureVideoDataOutput *videoOutput = [[AVCaptureVideoDataOutput alloc] init];
//7.1 设置代理, 捕获视频样品数据
dispatch_queue_t videoQueue = dispatch_queue_create("Video Capure Queue", DISPATCH_QUEUE_SERIAL);
[videoOutput setSampleBufferDelegate: self queue:videoQueue];
// 8.设置音频数据输出设备
AVCaptureAudioDataOutput *audioOutput = [[AVCaptureAudioDataOutput alloc] init];
// 8.1 设置代理,捕获音频样品数据 注意:必须是串行队列才能捕获到数据,而且不能为空
dispatch_queue_t audioQueue = dispatch_queue_create("Audio Capure Queue", DISPATCH_QUEUE_SERIAL);
[audioOutput setSampleBufferDelegate:self queue:audioQueue];
// 9.添加到会话中 注意:最好要判断是否能添加输入,会话不能添加空的
if ([_captureSession canAddOutput:videoOutput]) {
[_captureSession addOutput:videoOutput];
}
if ([_captureSession canAddOutput:audioOutput]) {
[_captureSession addOutput:audioOutput];
}
// 10.获取视屏输入与输出连接,用于分辨音视频数据
_videoConnection = [videoOutput connectionWithMediaType:AVMediaTypeVideo];
// 11.添加视屏预览图层
_previewdLayer = [AVCaptureVideoPreviewLayer layerWithSession:_captureSession];
_previewdLayer.frame = [UIScreen mainScreen].bounds;
[self.view.layer insertSublayer:_previewdLayer atIndex:0];
// 12.开启会话
[_captureSession startRunning];
}
// 根据摄像头方向获取摄像头
- (AVCaptureDevice *)getVideoDevice: (AVCaptureDevicePosition)position {
NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
for (AVCaptureDevice *device in devices) {
if (device.position == position) {
return device;
}
}
return nil;
}
分析:
(1)摄像头:每个手机都有且仅有两个摄像头,前置摄像头和后置摄像头,包括iPhone 7 Plus,它后面的两个摄像头统称为后置摄像头。所以获取的是摄像头数组,我们根据摄像头的方向获取指定的摄像头。对话里只能有一个摄像头设备。
(2)摄像头方向(AVCaptureDevicePosition):是一个枚举,有三个值可选择。不过如果选择AVCaptureDevicePositionUnspecified,那么是不能调用摄像头的。
typedef NS_ENUM(NSInteger, AVCaptureDevicePosition) {
AVCaptureDevicePositionUnspecified = 0, // 不指定
AVCaptureDevicePositionBack = 1, //后置
AVCaptureDevicePositionFront = 2 // 前置
}
(3)代理:AVCaptureVideoDataOutputSampleBufferDelegate, AVCaptureAudioDataOutputSampleBufferDelegate,分别为视频和音频输出设备对象的代理,两个代理都有下面的方法:
// 获取输出设备数据,有可能是音频,有可能是视频
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
if (_videoConnection == connection) {
NSLog(@"采集到视屏数据");
}else {
NSLog(@"采集到音频数据");
}
}
4.切换摄像头
#pragma mark - 切换摄像头
- (IBAction)toggleCapture:(id)sender {
// 1.获取当前设备方向
AVCaptureDevicePosition cureentPosition = _currentVideoDeviceInput.device.position;
// 2.获取需要改变的方向
AVCaptureDevicePosition togglePosition = (cureentPosition == AVCaptureDevicePositionFront ? AVCaptureDevicePositionBack : AVCaptureDevicePositionFront);
// 3.获取需要改变的摄像头设备
AVCaptureDevice *toggleDevice = [self getVideoDevice:togglePosition];
// 4.获取需要改变的摄像头输入设备
AVCaptureDeviceInput *toggleDeviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:toggleDevice error:nil];
// 5.停止会话,否则会有一瞬间的白屏
[_captureSession stopRunning];
// 6.移除之前的摄像头输入设备,否则会崩溃,因为会话里只能有一个摄像头设备
[_captureSession removeInput:_currentVideoDeviceInput];
// 7.添加新的摄像头输入设备
[_captureSession addInput:toggleDeviceInput];
// 8.重新开始会话
[_captureSession startRunning];
// 记录当前摄像头输入设备
//9.重新开始
_currentVideoDeviceInput = toggleDeviceInput;
}
demo里还有其他的功能,但是感觉没什么太大用处,就不讲了,有兴趣的可以去我的GitHub上下载看看。
demo下载
demo下载地址。下载下来运行,发现报错。
那是因为我没有在工程里上传ijkplayer视屏直播框架,我能上传上去,但下载太慢了,什么原因大家都懂得。我把ijkplayer视屏直播框架放到百度云上了,没有密码,下载下来之后,放到LiveAppDemo-master文件夹里,重新打开就可以运行了。