iOS11 ReplayKit2 问题总结
一、苹果自6月30日发布iOS11系统之后，其中的Airplay的协议发生变更，导致市场上的苹果直播助手（录屏）大部分变得不可用，因此在iOS11之后需要寻找新的技术方案来录屏
1）采用系统提供的ReplayKit2 包含的System Screen Record的框架
2) 采用libUSB的方案，这个方案利用的苹果的USB协议，github上面已经存在一个库，据说比较难编译，国外的直播平台Mobcrush，体验了一下效果非常好。
二、采用苹果的提供的方案才是正途，不然以后每次升级去破解Airplay的协议太折腾，也不经济。下面总结遇到的一些难题
1）ReplayKit2 本身存在bug，在不断更新的beta版本中，一直存在框架回调视频帧时序错位、声音消失，无法正常启动框架必须重启
2）ReplayKit2 开发Xcode调试很难，每次启动调试，Xcode调试器默认挂起的是主App，如果你需要调试一个一启动就发生的问题，很可能进程直接结束了，调试器什么信息都没有，吐槽Xcode
苹果这么大的市值，到底拿出多少钱用于研发测试，大概以大众为测试，这种态度一定会没落！！！
3）ReplayKit2 直到正式版本中存在的问题，内存不能超过50MB，如果一超过，系统马上干掉你
4）ReplayKit2 与主App之间没有进程通信机制（重大缺陷），直播平台一般主播都有自己的账号，直播权限，弹幕，礼物，苹果只考虑推流么？？并且推的流还只能是竖屏，需要hack解决
三、一些经验
1）内存不能超过50MB
在系统回调给你的YUV数据（NV12格式）中，这个回调在多个线程，之前为了避免时序的问题，将回调统一调度到一个串行队列中：
if([_txLivePush isPublishing]){
__weak typeof(self) wSelf = self;
CFRetain(videoSample);
dispatch_async(_encodeQueue, ^{
[wSelf NV12ToI420AndRotate:videoSample];
// [_txLivePush sendVideoSampleBuffer:videoSample];
CFRelease(videoSample);
});
这里带来一个问题，大屏手机在按home键的过程中，upload进程的线程调度受到影响，导致视频数据在队列中积压，内存峰值一旦超过50MB，系统立马把你杀掉
所以在视频的数据流中，一定要注意缓冲区的长度，申请内存一般不要超过3MB，采用同步的方案更可控一些
2）隐私模式
隐私模式就是将系统给的数据替换成一张YUV图片，通常涉及给到的是PNG、JPG
这里需要将JPG->UIImage->pix Data -> YUV I420
下面是一些介绍：
PG->UIImage->pix Data
+ (unsigned char *)pixelARGBBytesFromImageRef:(CGImageRef)imageRef {
NSUInteger iWidth = CGImageGetWidth(imageRef);
NSUInteger iHeight = CGImageGetHeight(imageRef);
NSUInteger iBytesPerPixel = 4;
NSUInteger iBytesPerRow = iBytesPerPixel * iWidth;
NSUInteger iBitsPerComponent = 8;
unsigned char *imageBytes = malloc(iWidth * iHeight * iBytesPerPixel);
CGColorSpaceRef colorspace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(imageBytes,
iWidth,
iHeight,
iBitsPerComponent,
iBytesPerRow,
colorspace,
kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
CGRect rect = CGRectMake(0 , 0 , iWidth , iHeight);
CGContextDrawImage(context , rect ,imageRef);
CGColorSpaceRelease(colorspace);
CGContextRelease(context);
CGImageRelease(imageRef);
return imageBytes;
}
上面的方法将UIImage转成ARGB的格式，因为libyuv中有一个ARGBToI420的方法。上面的方法中注意选项
kCGImageAlphaNone, /* For example, RGB. */
kCGImageAlphaPremultipliedLast, /* For example, premultiplied RGBA */
kCGImageAlphaPremultipliedFirst, /* For example, premultiplied ARGB */
kCGImageAlphaLast, /* For example, non-premultiplied RGBA */
kCGImageAlphaFirst, /* For example, non-premultiplied ARGB */
kCGImageAlphaNoneSkipLast, /* For example, RBGX. */
kCGImageAlphaNoneSkipFirst, /* For example, XRGB. */
kCGImageAlphaOnly
控制颜色通道的顺序，数据的大小端
转好的数据，再转成I420
//ToI420
CVReturn rc = CVPixelBufferCreate(NULL,
imgSize.width,
imgSize.height,
kCVPixelFormatType_420YpCbCr8PlanarFullRange,
NULL,
&_pausePixBuffer);
rc = CVPixelBufferLockBaseAddress(_pausePixBuffer, 0);
uint8_t *y_copyBaseAddress = (uint8_t*)CVPixelBufferGetBaseAddressOfPlane(_pausePixBuffer, 0);
uint8_t *u_copyBaseAddress = (uint8_t*)CVPixelBufferGetBaseAddressOfPlane(_pausePixBuffer, 1);
uint8_t *v_copyBaseAddress = (uint8_t*)CVPixelBufferGetBaseAddressOfPlane(_pausePixBuffer, 2);
size_t dYLineSize = (size_t)CVPixelBufferGetBytesPerRowOfPlane(_pausePixBuffer, 0);
size_t dULineSize = (size_t)CVPixelBufferGetBytesPerRowOfPlane(_pausePixBuffer, 1);
size_t dVLineSize = (size_t)CVPixelBufferGetBytesPerRowOfPlane(_pausePixBuffer, 2);
tx_ARGBToI420(argbData,
imgSize.width*4,
y_copyBaseAddress,
(int)dYLineSize,
u_copyBaseAddress,
(int)dULineSize,
v_copyBaseAddress,
(int)dVLineSize,
(int)imgSize.width,
(int)imgSize.height);
free(argbData);
kCVPixelFormatType_420YpCbCr8PlanarFullRange 代表I420的格式
