Android 4.2wifidisplay采集
Android 4.2wifidisplay采集
1. 显示设置display，其是最终显示的地方，其的数据格式，其的缓存结构
2. Display其的数据来源，又怎么样操作这些Display当中的数据如截个图，其与SurfaceFlinger有关系,在wifidisplay其的数据来源surfaceMediaSource
3. Android平板当中其是有多个显示设备，如平板的显示屏，HDMI, wifidisplay. 其之间的并存的关系，每个显示设备又有不同的特点，如用户在输入密码的时候，可能希望只在显示屏上显示，不在其他屏幕上显示，这就是安全性。
4. 多个显示设备则需要有一个显示设备类，用来描述显示设备，要一个显示设备管理类来统一管理显示设备的创建，删除，数据的读取。
5. 多个显示设备是并存显示，android平板当中是有多个activity，android通过surfaceFlinger来混合，之后依次输出到各个显示设备当中。出于安全考虑，其应该是：先得到显示设备的特点，将特性输出给surfaceflinger, surfaceflinger要求windowManagerService按要求提供activity集合，如：有安全要求，则不要将有安全特性的activity发给surfaceflinger混合。
6. 用户层通过相应的java层接口来操作display,创建与删除，截个图。
Android frameworks,其是有DisplayManagerService,提供用户来操作display, 内部则是于java层向JNI,层，然后调用c++层native service，SurfaceFlinger ，此处是native的binder通信，是JVM进程与surfaceFlinger进程之间通过binder通信。
a) 在android当中截图有三种方式，A，通过直接读取framebuffer,B.通过display来截个图，首先通过
b) ScreenshotClient screenshot;
c) // 根据ID得到显示设备的操作接口，其的内部：
d) surfaceComposerClient,SurfaceFlinger,DisplayDevice,其进程之间的关系，应用进程与surfaceFlinger进程。
e) sp<IBinder> display = SurfaceComposerClient::getBuiltInDisplay(displayId);
f) if (display != NULL && screenshot.update(display) == NO_ERROR) {
g) base = screenshot.getPixels();//得到display缓存的地址方式
h) w = screenshot.getWidth();
i) h = screenshot.getHeight();
j) f = screenshot.getFormat();//ARGB是888还是565的位格式
k) size = screenshot.getSize();//缓存的大小
l) // screenshot.update其会引起surfaceFlinger来进行混屏操作。
C.还是display，但其直接读取surfaceflinger混合之后的数据，不会引起surfaceflinger再次混合,wifidisplay当中的surfaceMediaPlay就是读取此当中的数据。
7.java层：
8.frameworks\base\media\java\android\media\RemoteDisplay.java
上层的核心类RemoteDisplay, Remote + Display,Remote体现在远程，如在wifidisplay当中显示在另一台机器当中。Display其是一个显示设备。其native层的so库与native服务是什么。
首先查看其的JNI层代码
frameworks\base\core\jni\android_media_RemoteDisplay.cpp,其当中有几个类：
1. class NativeRemoteDisplayClient : public BnRemoteDisplayClient
1. 其是native层进程之间通信的服务提供层，其被哪个进程所有调用，应该是MediaPlayerService进程（media service)。Display怎么样与media service有关系呢。
流程：1.创建一个客户端IRemoteDisplayClient,然后传递media service,media Service就使用这个对象与服务端通信，主要用于将MediaService进程通知wifidisplay进程客户端的连接成功，连接失败，连接异常。
2. 此类主要是remoteDisplay建立连接，关闭连接，连接异常的回调。其将数据信息由native层调用JAVA层的回调接口。连接主要是哪个与哪个的连接，本地显示与另一台机器显示之间的连接吗。连接的基础是RTSP的连接建立吗?
其是mediaplayerservice进程当中，当一个客户端连接到wifidisplaySource充当的RTSP服务器当中，mediaplayerservice通过IRemoteDisplayClient的binder通信机制通过上层应用进程。
3. NativeRemoteDisplay类的作用，其是原生代码当中，在保存文件当中，并没有使用些类，而是使用一个类似作用的类：NativeRemoteDisplayEx，其两者的作用均是相同的，在native层保存与mediaplayerService进程的关键变量，暂将变量的地址保存在java层。
2.class NativeRemoteDisplay {
3.private:
4. sp<IRemoteDisplay> mDisplay;
5. sp<NativeRemoteDisplayClient> mClient;
6.}
其包含两个主要接口，其没有什么业务，只一个数据结构。
sp<IRemoteDisplay> mDisplay其是进程之间的客户端，是哪几个进程之间通信，SurfaceFlinger进程，其是操作Display的客户端接口。
sp<NativeRemoteDisplayClient> mClient其是进程之间的服务端，与media service进程之间通信。
其为什么需要这样一个包装的数据结构呢?主要是为了下面的native层处理当中创建一个C++对象，然后将此对象的地址发送到上层叠java service当中保存。
4.NativeRemoteDisplayEx与NativeRemoteDisplay的作用相同
2.NativeRemoteDisplayEx{
3. sp<IRemoteDisplay> mDisplay;
4. sp<RemoteDisplayClient> mClient;
5.}
其与NativeRemoteDisplay一样的，其的mClient对象类型是：RemoteDisplayClient,在保存文件当中，其是使用这个对象，其的作用只是一个对象的wrapper，供上java service使用。
3.RemoteDisplayClient : public BnRemoteDisplayClient
其与NativeRemoteDisplayClient均是用于进程之间的通信，bind的服务提供端。其当中的连接成功方法：
// 当客户端连接到服务器，上层应用进程通过binder接口调用surfaceFlinger进程创建一个虚拟显示设备，根据每一个连接显示的要求的不同创建不同的显示设备。
void RemoteDisplayClient::onDisplayConnected(
const sp<ISurfaceTexture> &surfaceTexture,
uint32_t width,uint32_t height,uint32_t flags) {
// 虚拟显示设备的数据来源，其来源于surfacemediaSource
mSurfaceTexture = surfaceTexture;
// 根据是否有安全性要求，通过surfaceflinger进程创建一个显示设备。
mDisplayBinder = mComposerClient->createDisplay(String8("foo"), false /* secure */);
// 设置显示设备的参数
SurfaceComposerClient::openGlobalTransaction();
mComposerClient->setDisplaySurface(mDisplayBinder, mSurfaceTexture);
//Rect layerStackRect(1280, 720); // XXX fix this.
Rect layerStackRect(width, height); // XXX fix this.
//Rect displayRect(1280, 720);
Rect displayRect(width, height);
mComposerClient->setDisplayProjection(
mDisplayBinder, 0 /* 0 degree rotation */,
layerStackRect,
displayRect);
SurfaceComposerClient::closeGlobalTransaction();
}
4.供RemoteDisplay.java使用native方法
nativeStartRecord:
static jint nativeStartRecord(JNIEnv* env, jobject remoteDisplayObj, jstring ifaceStr) {
ScopedUtfChars iface(env, ifaceStr);
ALOGI("### nativeStartRecord ###");
sp<IServiceManager> sm = defaultServiceManager();
sp<IBinder> binder = sm->getService(String16("media.player"));
sp<IMediaPlayerService> service =
interface_cast<IMediaPlayerService>(binder);
CHECK(service.get() != NULL);
// 音频策略起用remote submix方案
enableAudioSubmix(true /* enable */);
// 创建一个网络连接状态接口的回调，其是mediaserviceplay进程调用上层应用进程。
sp<RemoteDisplayClient> client = new RemoteDisplayClient(env, remoteDisplayObj);
// 通过调用mediaserviceplay进程创建一个remoteDisplay对象，其集成了屏幕采集，语音采集，音视频单独格式编码压缩，再按时间同步合成TS数据流，建立网络连接通信的基础，利用网络连接发送到客户端，或保存到本地文件当中，所以其本质是一个流媒体播放器，也就解释了remotedisplay其的代码是frameworks\av\media\libmediaplayerservice路径当中。这个是多媒体播放器的目录：在流媒体录制与播放，本地多媒体的录制与播放器。
注意remoteDisplay其并不是真正的在surfaceflinger进程当中创建了一个虚拟显示设备，RemoteDisplayClient::onDisplayConnected当中完成的创建一个虚拟显示设备，而remoteDisplay其只是创建一个多媒体播放器。
结论：一台android设备当中的相关进程关系
1. 上层java进程，如Setting进程，录屏幕进程
2. 多媒体进程，mediaplayerservice进程，其创建一个流媒体屏幕录制直播对象
3. 显示进程，surfaceflinger进程，其创建一个虚拟显示设备
// 通过mediaplayerservice进程创建一个流媒体屏幕录制直播模块对象
sp<IRemoteDisplay>display=service->listenForRemoteDisplay(client,String8(iface.c_str()));
// 将两个进程之间的bind接口保存起来。
NativeRemoteDisplayEx* wrapper = new NativeRemoteDisplayEx(display, client);
// 返回给java保存
return reinterpret_cast<jint>(wrapper);
}
nativePauseRecord
nativeResumeRecord,nativeStopRecord.
其均是控制mediaplayerservice进程当中屏幕直播模块的状态。如暂时直播，重新直播，关闭直播。
frameworks\av\media\libmediaplayerservice\RemoteDisplay.cpp
RemoteDisplay其是核心当中的核心，其处于libmediaplayerservice.so库，其处于的进程是
Mediaplayerservice进程。其的作用:流媒体屏幕直播模块，在此框架当中其应该有的部件：
1. 网络通信框架，负责创建服务器，负责接受客户端的socket连接，管理所有的客户端socket数据接收与发送，这是一个线程
2. 单独一个直播源的数据发送与命令控制
3. 采集数据模块，有视频采集模块，语音采集模块。这是一个线程
4. 数据压缩模块：将各种多媒体数据压缩如视频压缩成h264,语音压缩成AAC，这是一个线程
5. 多媒体数据合成模块：将多媒体数据按时间同步的方法合成为ts数据流，这是一个线程
6. 将多媒体数据按网络数据合成发送：在网络当中发送，以RTP协议格式通过socket发送到客户端。
注意：所有这些部件均在同一个进程当中，线程之间通信使用ALooper,AHandle,AMessager所组成的异步通信框架，其类似于android java层的looper, handler,Message
1. RemoteDisplay
屏幕流媒体直播服务器的入口，
a.创建了网络通信框架ANetworkSession，整体的业务框架WifiDisplaySource等对象。
b.继承了BnRemoteDisplay对象，负责上层进程与屏幕流媒体直播服务器进程的状态控制。
2.ANetworkSession
网络通信框架，负责创建服务器，负责接受客户端的socket连接，管理所有的客户端socket数据接收与发送，这是一个线程当中，不断的接收客户端的连接，不断的管理所有客户端的业务数据的发送与接收。所有客户端连接socket模型是select方式，没有一个连接一个线程，也没有使用epoll,所以其一个线程就搞定了。
其的类有：
A. ANetworkSession：负责创建服务器监控连接，管理所有session
B. NetworkThread:其继承一个thread就是一个线程，在线程回调方法threadLoop当中，调用ANetworkSession.threadLoop方法来接收客户端连接与客户端数据的读取与发送。
C. Session:负责与一个客户端的数据读取与发送。
3.WifiDisplaySource
各种业务的管理类，直播器的状态具体控制。将状态反馈到上层进程当中。
A. 调用onSetupRequestEx模拟一个客户端的连接，创建一个PlaybackSession，且传递其一个AMessage(kWhatPlaybackSessionNotify, id())给PlaybackSession,用于PlaybackSession异步地将消息传递给wifiDisplaySource,调用PlaybackSession::initEx()方法，在改造将wifidisplay的数据保存为本地文件，主要是修改了此的初始化流程。将之前需要真正有客户连接才启动整个采集，编码，传输的流程，修改为直接调用
B. 调用PlaybackSession::initEx()方法，确定视频采集者：SurfaceMediaSource其是原始数据，RepeaterSource：以固定采集频率从SurfaceMediaSource当中读取数据，音频的流程也类似。
C. 在音频，视频数据采集者的基础之上，统一出一个公共类以统一的接口为上层服务，
MediaPuller具体将音视频数据格式从MediaBuffer统一封装成ABuffer。
D. 对于从MediaPuller当中读取过来的数据需要进行压缩编码(codec),Converter具体负责对于音视频数据编码，然后将结果以Message：kWhatConverterNotify发送给PlaybackSession，音频的流程也类似，Converter转换之后的数据，已经是裸数据，如裸H264,AAC,我们就是直接在此处将数据通过LocalSocket发送到上层进程当中。
E. 将采集MediaPuller与编码Converter封装到统一的Track结构当中，方便上层处理，视频数据一个Track,音频数据一个Track.上层在将Track合成Ts数据流的时候很方便。此过程：Converter编码数据之后，发送消息给WifiDisplaySource，WifiDisplaySource根据数据类型调用相应的Track,判断是否需要HDCP加密，根据音视频数据时间同步要求，最终数据调用Sender通过socket发送数据到另一台机器的客户端上面。
F. 对于TS数据在网络上面传递，双向需要约定网络传输协议，在Sender当中具体实现，其是使用RTSP/RTP协议，我们在将TS数据保存为本地文件的时候，具体是需要了此类当中的代码
2. 由start进行初始化操作，在play当中启动。
A. 要建立起SOCKET连接成功，且双方约定好传输多媒体格式。
创建双向约定协议的 sender,且在PlaybackSession约定了一个AMessage与Sender进行通信。
建立成功之后，向上层进程调用连接成功的通知。
【display当中的数据怎么样读取与采集】
数据来源之屏幕
SurfaceMediaSource其相当于fremebuffer，其的读取与写入需要surfaceflinger实时地将混合的图片数据写入到虚拟显示设备当中，但现在还没有创建虚拟显示设备，简单地创建一个SurfaceMediaSource是没有作用的，其需要surfaceflinger实时将混合的界面数据写入到SurfaceMediaSource当中。
A.创建一个虚拟显示设备
mDisplayBinder = mComposerClient->createDisplay(String8("foo"), false /* secure */);
B.虚拟显示设备与surface相关，surface的两个buffer与虚拟显示设备关联，当surfaceflinger实时地将混合的界面数据写入虚拟显示设备当中，其本质就是写了surface的buffer当中，所以用户只要读取surface当中的数据就是读取屏幕当中的数据，也解决了为什么读取一个虚拟显示设备的display不会影响平板性能，而读取主显示设备会影响平板性能。因为虚拟显示设备其读取surfaceflinger混合之后的数据，而主显示设备会触发surfaceflinger进行混合从而影响到了性能。
mComposerClient->setDisplaySurface(mDisplayBinder, mSurfaceTexture);
C.用户读取surface当中的数据
// BufferQueue是继承BnSurfaceTexture
sp<BufferQueue> mBufferQueue;
sp<SurfaceMediaSource> source = new SurfaceMediaSource(1280, 720);
mBufferQueue = source->getBufferQueue();
2. 虚拟显示设备与屏幕源结合
【Surface系统】
直接从native层看surface层怎么样操作，向surfaceflinger分配空间，得到surface的graphicbuffer的起始地址，向其中写入数据，通知surfaceflinger进行刷新显示。
frameworks\native\services\surfaceflinger\tests\resize.cpp作为一个最佳的分析入口，其没有JAVA层的activity.
进程之间的关系，上层应用进程，surfaceflinger进程，两者通过binder进行通信。服务端有两个binder,得到binder服务端的接口方法：通过serviceManager对象传入服务名称，得到客户端binder接口。
A.BnSurfaceComposerClient
B.BnSurfaceComposer
SurfaceComposerClient：
其封装了操作surfaceFlinger的方法，其不是Bn端，其组合Bn端，其最终调用Bn端来进行与surfaceFlinger通信。Bn端是Client.
Client : public BnSurfaceComposerClient
SurfaceControl
：
Surface
SurfaceFlinger
ISurfaceComposer
1. Surface的内部管理
A. GraphicBuffer封装了与硬件相关的操作，为上层应用程序提供了统一的图形内存分配接口。每一个Activity的Surface需要分配一个GraphicBuffer,这些GraphicBuffer怎么样统一的管理，怎么样统一的数据读取与写入。
2. Surface数据的读取
3. BufferQueue与GraphicBuffer之间的关系
WifiDisplaySource : public AHandler
有一个集成管理数据来源的管理类：采集，编码，其也是放置在一个线程当中。
同一个线程当中，使用线程的发送与接收数据
同一个进程当中的不同线程，数据的发送与接收
// 生成一个AMessage的时候绑定一个线程A的id,发送给B线程，B修改此message,如放置数据，B发送此消息，通过消息框架A线程就能够接收到数据。同一个进程的不同线程的内存空间的共享的就可以直接使用。
sp<AMessage> notify = new AMessage(kWhatPlaybackSessionNotify, id());
notify->setInt32("playbackSessionID", playbackSessionID);
// 创建一个线程，且将此线程集成到异步通信框架当中，能够接收异步数据
looper()->registerHandler(playbackSession);
RemoteDisplay其的作用是什么。其的流程是什么呢。
ANetworkSession：其是一个socket service的线程，负责循环等待客户端连接，管理所有客户端连接的数据读写。如果只是保存文件则不需要此类的功能
WifiDisplaySource：其管理所有数据来源。
1. wifiDisplaySource调用playbackSession：：initEx，创建一个PlaybackSession线程来创建一个音视频数据来源，视频数据来源于SurfaceMediaSource，音频来源于AudioSource。
2. 添加视频源SurfaceMediaSource，其是怎么样与显示设备所建立关联的，其读取的是surfaceFlinger之后，其怎么样与surfaceFlinger建立关联的。还是之前的数据，其数据的格式与大小。
3. 需要一个类以一定的帧率在surfaceMediaSource当中读取数据，其应该是一个线程且异步读取数据，其使用AHandler,但其没有继承AHandle而是组合使用，因为其继承了MediaSource，其就是RepeaterSource。其使用了装饰者设计模式。
4. 需要一个类以音视频时间同步的方式从视频，音频的数据提供者当中读取数据。
5. 数据的发送：先音频，音频按相应格式组合，如视频按H264,音频按AAC,这个是Track的工作，
6. 其将音视频数据混合且添加音视频时间同步的信息，拼成TS数据TSPacketizer，
7. 将数据按相应的协议发送，其是Sender负责按RTSP,RTP协议发送，其利用ANetworkSession基础设备最终发送数据。
8. SurfaceMediaSource其的数据来源最终来源于Gralloc Buffers
【流程打印】
相关连接
Android截屏浅析
http://blog.sina.com.cn/s/blog_69a04cf4010173fz.html
IGraphicBufferProducer
Android 4.4(KitKat)中的设计模式-Graphics子系统
http://blog.csdn.net/jinzhuojun/article/details/17427491
Android中的GraphicBuffer同步机制-Fence
http://blog.csdn.net/jinzhuojun/article/details/39698317
Android 4.4(KitKat)中的设计模式-Graphics子系统
http://blog.csdn.net/jinzhuojun/article/details/17427491
http://blog.csdn.net/ayuppie/article/details/8668462
ScreenMirror buffer ->codec编码传输流程(1/3)
http://www.codes51.com/article/detail_341988.html
SurfaceFlinger GraphicBuffer内存共享缓冲区机制
http://blog.csdn.net/andyhuabing/article/details/7489776
双方设备准备就绪后，MediaPull会通过kWhatPull消息处理不断调用MediaSource的read函数。在SurfaceMediaSource实现的read函数中，来自SurfaceFlinger的混屏后的数据经由BufferQueue传递到MediaPull中
http://blog.csdn.net/innost/article/details/8474683
Android -- SurfaceFlinger 概要分析系列 (一)
