音视频处理
之前介绍的系统声音服务(System Sound Services)提供了一个接口，用于播放不超过30秒的声音。要进一步使用iOS的音频功能，有两个框架：Media Player和AV Foundation。
Media Player框架
Media Player框架用于播放本地和远程资源中的视频和音频。在应用程序中，可使用它来打开模态iPod界面、选择歌曲以及控制播放。这个框架让您能够与设备提供的所有内置多媒体功能集成。
框架有5个常用类：
MPMoviePlayerController — 电影播放器控制器。
MPMusicPlayerController — 音乐播放器控制器。
MPMediaPickerController — 向用户提供用于选择要播放的多媒体的界面。您可以筛选媒体选择器显示的文件，也可以让用户从多媒体库中选择文件。
MPMediaItem — 单个多媒体项，如一首歌曲。
MPMediaItemCollection — 多媒体项集合。MPMediaPickerController实例提供一个MPMediaItemCollection实例，可在下一个类(音乐播放器控制器)中直接使用它。
要使用任何多媒体播放器功能，都必须导入框架Media Player：
#import <MediaPlayer/MediaPlayer.h>
电影播放器(MPMoviePlayerController)示例：
#import "ViewController.h"
#import <MediaPlayer/MediaPlayer.h>
@interface ViewController ()
- (IBAction)btnPlayerClickHandler:(id)sender;
@property (strong, nonatomic) MPMoviePlayerController *moviePlayer;
@end
@implementation ViewController
- (void)viewDidLoad
{
[super viewDidLoad];
NSString *strFile = [[NSBundle mainBundle] pathForResource:@"movie1" ofType:@"mp4"];
self.moviePlayer = [[MPMoviePlayerController alloc] initWithContentURL:[NSURL fileURLWithPath:strFile]];
self.moviePlayer.allowsAirPlay = YES;
[self.moviePlayer.view setFrame:CGRectMake(50.0, 50.0, 240.0, 200.0)];
[self.view addSubview:self.moviePlayer.view];
[[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(playMovieFinished:) name:MPMoviePlayerPlaybackDidFinishNotification object:self.moviePlayer];
}
- (IBAction)btnPlayerClickHandler:(id)sender
{
[self.moviePlayer play];
}
- (void)playMovieFinished:(NSNotification *)theNotification
{
MPMoviePlayerController *player = [theNotification object];
[[NSNotificationCenter defaultCenter] removeObserver:self name:MPMoviePlayerPlaybackDidFinishNotification object:player];
[player.view removeFromSuperview];
}
- (void)didReceiveMemoryWarning
{
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
@end
有两个细节需要注意：
1. MPMoviePlayerController实例要添加成属性(@property)。
2. 将视频文件添加到项目时，要勾选“add to targets”。
电影播放器播放完文件时，可能需要做些清理工作，包括将电影播放器从视图中删除。为此，可使用NSNotificationCenter类注册一个”观察者”，该观察者将监视来自对象moviePlayer的特定通知，并在收到这种通知时调用指定的方法。
音乐播放器(MPMusicPlayerController)示例：
#import "ViewController.h"
@interface ViewController ()
@property (strong, nonatomic) IBOutlet UILabel *lblPlayingSong;
@property (strong, nonatomic) IBOutlet UILabel *lblSongList;
- (IBAction)btnPlayClickHandler:(id)sender;
- (IBAction)btnPickerClickHandler:(id)sender;
@property (nonatomic, strong) MPMusicPlayerController *musicPlayer;
@end
@implementation ViewController
- (void)viewDidLoad
{
[super viewDidLoad];
self.musicPlayer = [MPMusicPlayerController iPodMusicPlayer];
}
- (IBAction)btnPlayClickHandler:(id)sender
{
if(self.musicPlayer.playbackState==MPMusicPlaybackStatePaused||self.musicPlayer.playbackState==MPMusicPlaybackStateStopped)
{
[self.musicPlayer play];
}
else if(self.musicPlayer.playbackState==MPMusicPlaybackStatePlaying)
{
[self.musicPlayer pause];
}
// [self.musicPlayer stop];
// [self.musicPlayer skipToBeginning];
// [self.musicPlayer skipToPreviousItem];
// [self.musicPlayer skipToNextItem];
//列出当前播放歌曲
self.lblPlayingSong.text = [self.musicPlayer.nowPlayingItem valueForProperty:MPMediaItemPropertyTitle];
// MPMediaItemPropertyArtist -- 艺术家
// MPMediaItemPropertyGenre -- 流派
// MPMediaItemPropertyLyrics -- 歌词
}
- (IBAction)btnPickerClickHandler:(id)sender
{
MPMediaPickerController *mediaPicker = [[MPMediaPickerController alloc] initWithMediaTypes:MPMediaTypeMusic];
// MPMediaTypePodcast;
// MPMediaTypeAnyAudio;
mediaPicker.prompt = @"Choose Songs";
mediaPicker.allowsPickingMultipleItems = YES;
mediaPicker.delegate = self;
[self presentViewController:mediaPicker animated:YES completion:nil];
}
- (void)mediaPicker:(MPMediaPickerController *)mediaPicker didPickMediaItems:(MPMediaItemCollection *)mediaItemCollection
{
[self.musicPlayer setQueueWithItemCollection:mediaItemCollection];
//列出选择歌曲清单
NSMutableString *strTitle = [[NSMutableString alloc] initWithString:@""];
for(MPMediaItem *item in [mediaItemCollection items])
{
[strTitle appendString:[item valueForProperty:MPMediaItemPropertyTitle]];
[strTitle appendString:@"\n"];
}
self.lblSongList.text = strTitle;
[self dismissViewControllerAnimated:YES completion:nil];
}
- (void)mediaPickerDidCancel:(MPMediaPickerController *)mediaPicker
{
[self dismissViewControllerAnimated:YES completion:nil];
}
- (void)didReceiveMemoryWarning
{
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
@end
AV Foundation框架
虽然Media Player框架可满足所有普通多媒体播放需求，但Apple推荐使用AV Foundation框架来实现大部分系统声音服务不支持的、超过30秒的音频播放功能。另外，AV Foundation框架还提供了录音功能。
要在应用程序中添加音频播放和录音功能，只需要两个新类：
AVAudioRecorder — 以各种不同的格式将声音录制到内存或设备本地文件中。
AVAudioPlayer — 播放任意长度的音频。
要使用AV Foundation框架，必须将其加入到项目中，再导入两个接口文件：
#import <AVFoundation/AVFoundation.h> #import <CoreAudio/CoreAudioTypes.h>
CoreAudioTypes.h定义了多种音频类型，便于在代码中通过名称引用。
播放声音文件示例：
#import <AVFoundation/AVFoundation.h> #import <CoreAudio/CoreAudioTypes.h> @interface ViewController : UIViewController <AVAudioPlayerDelegate> @end
#import "ViewController.h"
@interface ViewController ()
@property (nonatomic,strong) AVAudioPlayer *audioPlayer;
@end
@implementation ViewController
- (void)viewDidLoad
{
[super viewDidLoad];
NSString *strSoundFile = [[NSBundle mainBundle] pathForResource:@"mymusic" ofType:@"mp3"];
self.audioPlayer = [[AVAudioPlayer alloc] initWithContentsOfURL:[NSURL fileURLWithPath:strSoundFile] error:nil];
self.audioPlayer.delegate = self;
[self.audioPlayer play];
}
- (void)audioPlayerDidFinishPlaying:(AVAudioPlayer *)player successfully:(BOOL)flag
{
NSLog(@"播放结束");
}
- (void)didReceiveMemoryWarning
{
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
@end
在应用程序中录制音频需要指定用于存储录音的文件(NSURL)，配置要创建的声音文件参数(NSDictionary)，再使用上述文件和设置分配并初始化一个AVAudioRecorder实例。
如果不想将录音文件持久性保存，可以录音存在到tmp目录，这样当app退出时，该录音可能被自动删除；否则，应存储到Documents目录。下面的代码创建了一个NSURL，它指向temp目录中的文件sound0605.caf：
NSURL *soundFileURL = [NSURL fileURLWithPath:[NSTemporaryDirectory() stringByAppendingString:@"sound0605.caf"]];
然后创建一个NSDictionary，它包含录制的音频的设置：
NSDictionary *soundSetting = @{AVSampleRateKey:@44100.0F,
AVFormatIDKey:@(kAudioFormatMPEG4AAC),
AVNumberOfChannelsKey:@2,
AVEncoderAudioQualityKey:@(AVAudioQualityHigh)
};
AVSampleRateKey — 录音机每秒采集的音频样本数。
AVFormatIDKey — 录音的格式。
AVNumberOfChannelsKey — 录音的声道数。例如，立体声为双声道。
AVEncoderAudioQualityKey — 编码器的质量设置。
要了解更多的设置，可以参考Xcode开发文档中的AVAudioRecorder Class Reference(滚动到Constants部分)。
指定声音文件和设置后，就可创建AV录音机实例并开始录音了：
AVAudioRecorder *soundRecorder = [[AVAudioRecorder alloc] initWithURL:soundFileURL settings:soundSetting error:nil]; [soundRecorder record];
录制声音文件并播放示例：
#import "ViewController.h"
@interface ViewController ()
@property (strong, nonatomic) IBOutlet UIButton *btnRecord;
@property (nonatomic,strong) AVAudioRecorder *soundRecorder;
@property (nonatomic,strong) AVAudioPlayer *audioPlayer;
- (IBAction)btnRecordClickHandler:(id)sender;
- (IBAction)btnPlayRecordHandler:(id)sender;
@end
@implementation ViewController
- (void)viewDidLoad
{
[super viewDidLoad];
//Setup the audio recorder
[[AVAudioSession sharedInstance] setCategory: AVAudioSessionCategoryPlayAndRecord error: nil];
NSURL *soundFileURL = [NSURL fileURLWithPath:[NSTemporaryDirectory() stringByAppendingString:@"sound0605.caf"]];
NSDictionary *soundSetting = @{AVSampleRateKey:@44100.0F,
AVFormatIDKey:@(kAudioFormatMPEG4AAC),
AVNumberOfChannelsKey:@2,
AVEncoderAudioQualityKey:@(AVAudioQualityHigh)
};
NSError* error = NULL;
self.soundRecorder = [[AVAudioRecorder alloc] initWithURL:soundFileURL settings:soundSetting error:&error];
NSLog(@"Error: %@", error);
}
- (IBAction)btnRecordClickHandler:(id)sender
{
if([self.btnRecord.titleLabel.text isEqualToString:@"录制"])
{
[self.soundRecorder record];
[self.btnRecord setTitle:@"暂停" forState:UIControlStateNormal];
}
else
{
[self.soundRecorder stop];
[self.btnRecord setTitle:@"录制" forState:UIControlStateNormal];
}
}
- (IBAction)btnPlayRecordHandler:(id)sender
{
NSURL *recordFile = [NSURL fileURLWithPath:[NSTemporaryDirectory() stringByAppendingString:@"sound0605.caf"]];
self.audioPlayer = [[AVAudioPlayer alloc] initWithContentsOfURL:recordFile error:nil];
[self.audioPlayer play];
}
- (void)didReceiveMemoryWarning
{
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
@end
P.s. 上面的代码每次点击播放时，都会分配并初始化一个新的AVAudioPlayer实例，其实不用担心带来的内存问题，因为每次新建音频播放器时，指向旧播放器的引用都将被删除，即ARC自动释放占用的内存。然后，如果您担心这一点，可实现AVAudioPlayer委托方法audioPlayerDidFinishPlaying:successfully，在其中将对象audioPlayer设置为nil。
播放包含在应用程序束中的音频时，应使用AVAudioPlayer；而播放音乐库中的文件时，应使Media Player框架的MPMusicPlayerController。虽然MPMusicPlayerController也能够播放本地文件，但其主要用途是集成现有的音乐库多媒体。
