简介
- 这一章里,我们将
Camera.java
中的 open()
方法作为切入点。作为打开摄像头的方法,无论哪种 Camera 应用都需要调用到它。
- 从
Camera.open()
被调用开始,这一指令是如何通过 Framework 层走到 C/C++ 层,又是如何进入 HAL 层从而使得指令能够到达设备端。
- 通过追踪源码,我们可以比较清晰地了解整个过程。
- 接下来按照
Framework -> Android Runtime -> C/C++ Libraries -> HAL
的顺序去分析整个调用流程。
- NOTE:
- 这一部分主要参考的资料:
- 看源码的初始阶段真的是会很烦躁……
Open flow
1. Framework
1.1 Camera.java
- 路径:
frameworks/base/core/java/android/hardware/Camera.java
- 首先从
Open()
方法开始:
- 获取
Camera
设备的个数。
- 依次获取设备信息,如果是获取到后置摄像头(默认),则调用
new Camera(int)
构造对应的摄像头实例。
- 注释翻译:
- 构造一个新的摄像头对象,以获取第一个后置摄像头。
- 若设备中没有后置摄像头,则返回
null
。
- NOTE:还有一个方法
open(int)
,它可以直接指定打开的摄像头。
/***
* Creates a new Camera object to access
* the first back-facing camera on the
* device. If the device does not have a back-facing camera,
* this returns null.
* @see #open(int)
*/
public static Camera open() {
int numberOfCameras = getNumberOfCameras();
CameraInfo cameraInfo = new CameraInfo();
for (int i = 0; i < numberOfCameras; i++) {
getCameraInfo(i, cameraInfo);
if (cameraInfo.facing == CameraInfo.CAMERA_FACING_BACK) {
return new Camera(i);
}
}
return null;
}
Camera(int cameraId)
:
- 通过调用
cameraInitNormal(Id)
方法对指定摄像头进行初始化。
/** used by Camera#open, Camera#open(int) */
Camera(int cameraId) {
int err = cameraInitNormal(cameraId);
if (checkInitErrors(err)) {
if (err == -EACCES) {
throw new RuntimeException("Fail to connect to camera service");
} else if (err == -ENODEV) {
throw new RuntimeException("Camera initialization failed");
}
throw new RuntimeException("Unknown camera error");
}
}
cameraInitNormal(int cameraId)
:
- 指定
halVersion
参数。
- 调用
cameraInitVersion(int cameraId, int halVersion)
。
private int cameraInitNormal(int cameraId) {
return cameraInitVersion(cameraId,
CAMERA_HAL_API_VERSION_NORMAL_CONNECT);
}
cameraInitVersion(int cameraId, int halVersion)
:
- 将各个回调函数置空。
Looper
的作用没有仔细研究,从代码逻辑上看,可能与事件的监听(需要循环操作)有关。
- 通过
Looper
对事件处理对象进行实例化后,就调用 native_setup
方法进入 JNI(Java Native Interface)
库中调用对应的函数。
- 至此,
open()
方法开始进入 Android Runtime
层。
private int cameraInitVersion(int cameraId,
int halVersion) {
mShutterCallback = null;
mRawImageCallback = null;
mJpegCallback = null;
mPreviewCallback = null;
mPostviewCallback = null;
mUsingPreviewAllocation = false;
mZoomListener = null;
Looper looper;
if ((looper = Looper.myLooper()) != null) {
mEventHandler = new EventHandler(this, looper);
} else if ((looper = Looper.getMainLooper()) != null) {
mEventHandler = new EventHandler(this, looper);
} else {
mEventHandler = null;
}
return native_setup(new WeakReference<Camera>(this),
cameraId, halVersion,
ActivityThread.currentOpPackageName());
}
1.2 Framework 中流程简图
2. Android Runtime
2.1 android_hardware_Camera.cpp
- 路径:
frameworks/base/core/jni/android_hardware_Camera.cpp
native_setup()
:
- 刚开始要先把
clientPackageName
做一个类型转换,变成 clientName
。
- 建立一个
Camera
类型的 StrongPointer(sp)
。
- 通过函数
Camera::connect()
或 Camera::connectLegacy()
,让客户端与服务端进行连接,并返回相应的 Camera
实例。
- 最后对返回的实例进行一些基本的检查,并保存上下文。
- 在
connect()
的时候,就进入了 C/C++ Libraries
的 C/S 结构中,而 Camera
则属于 Client
。
static jint android_hardware_Camera_native_setup(JNIEnv *env,
jobject thiz, jobject weak_this,
jint cameraId, jint halVersion,
jstring clientPackageName)
{
......
......
sp<Camera> camera;
if (halVersion == CAMERA_HAL_API_VERSION_NORMAL_CONNECT) {
camera = Camera::connect(cameraId, clientName,
Camera::USE_CALLING_UID,
Camera::USE_CALLING_PID);
} else {
jint status = Camera::connectLegacy(cameraId,
halVersion, clientName,
Camera::USE_CALLING_UID, camera);
if (status != NO_ERROR) {
return status;
}
}
if (camera == NULL) {
return -EACCES;
}
if (camera->getStatus() != NO_ERROR) {
return NO_INIT;
}
......
......
}
2.2 Runtime 中流程简图
3. C/C++ Libraries
3.1 Camera
3.1.1 Camera.h
- 位置:
frameworks/av/include/camera/Camera.h
- 注意
CameraTraits<Camera>
的结构体:
template <>
struct CameraTraits<Camera>
{
typedef CameraListener TCamListener;
typedef ::android::hardware::ICamera TCamUser;
typedef ::android::hardware::ICameraClient TCamCallbacks;
typedef ::android::binder::Status(::android::hardware::ICameraService::*TCamConnectService)
(const sp<::android::hardware::ICameraClient>&,
int, const String16&, int, int,
sp<::android::hardware::ICamera>*);
static TCamConnectService fnConnectService;
};
3.1.2 Camera.cpp
- 位置:
framework/av/camera/Camera.cpp
- 注意
fnConnectService
是对应到 ICameraService::connect
函数的。
CameraTraits<Camera>::TCamConnectService CameraTraits<Camera>::fnConnectService =
&::android::hardware::ICameraService::connect;
Camera::connect
:
- 这里直接调用了
CameraBaseT::connect()
这是定义在 CameraBase.cpp
中的函数。
sp<Camera> Camera::connect(int cameraId,
const String16& clientPackageName,
int clientUid, int clientPid)
{
return CameraBaseT::connect(cameraId,
clientPackageName, clientUid, clientPid);
}
3.2 CameraBase
3.2.1 CameraBase.h
- 位置:
frameworks/av/include/camera/CameraBase.h
- 注意模板信息:
TCam
对应 Camera
。
TCamTraits
对应 CameraTraits<Camera>
。
template <typename TCam, typename TCamTraits = CameraTraits<TCam> >
- 注意类成员变量声明部分:
- 即可知道
CameraBaseT
对应 CameraBase<Camera>
。
sp<TCamUser> mCamera;
status_t mStatus;
sp<TCamListener> mListener;
const int mCameraId;
typedef CameraBase<TCam> CameraBaseT;
3.2.2 CameraBase.cpp
- 位置:
framework/av/camera/CameraBase.cpp
connect()
:
- 实例化一个
Camera
- 通过
Camera
获取 ICameraClient
指针。
- 通过
getCameraService()
函数获取 ICameraService
。
- 通过
ICameraService::connect()
函数获得一个 mCamera
, 即 ICamera
实例。
- 将
ICamera
实例与 Binder
建立联系。
template <typename TCam, typename TCamTraits>
sp<TCam> CameraBase<TCam, TCamTraits>::connect(int cameraId,
const String16& clientPackageName,
int clientUid, int clientPid)
{
ALOGV("%s: connect", __FUNCTION__);
sp<TCam> c = new TCam(cameraId);
sp<TCamCallbacks> cl = c;
const sp<::android::hardware::ICameraService> cs = getCameraService();
binder::Status ret;
if (cs != nullptr) {
TCamConnectService fnConnectService = TCamTraits::fnConnectService;
ret = (cs.get()->*fnConnectService)(cl, cameraId,
clientPackageName, clientUid,
clientPid, &c->mCamera);
}
if (ret.isOk() && c->mCamera != nullptr) {
IInterface::asBinder(c->mCamera)->linkToDeath(c);
c->mStatus = NO_ERROR;
} else {
ALOGW("An error occurred while connecting to camera %d: %s", cameraId,
(cs != nullptr) ? "Service not available" : ret.toString8().string());
c.clear();
}
return c;
}
getCameraService()
:
- 注意,
gCameraService
是一个 ICameraService
。
- 首先调用
ICameraService
的 get
函数,如果能获取到 ICameraService
则返回。
- 若没有返回,则通过
IServiceManager
来获取一个 ICameraService
,这个过程中主要是通过 IBinder
来进行数据的获取的,其中机制暂时忽略,只要知道通过 Binder
我们获取了一个 ICameraService
就好。
template <typename TCam, typename TCamTraits>
const sp<::android::hardware::ICameraService> CameraBase<TCam, TCamTraits>::getCameraService()
{
Mutex::Autolock _l(gLock);
if (gCameraService.get() == 0) {
char value[PROPERTY_VALUE_MAX];
property_get("config.disable_cameraservice", value, "0");
if (strncmp(value, "0", 2) != 0 && strncasecmp(value, "false", 6) != 0) {
return gCameraService;
}
sp<IServiceManager> sm = defaultServiceManager();
sp<IBinder> binder;
do {
binder = sm->getService(String16(kCameraServiceName));
if (binder != 0) {
break;
}
ALOGW("CameraService not published, waiting...");
usleep(kCameraServicePollDelay);
} while(true);
if (gDeathNotifier == NULL) {
gDeathNotifier = new DeathNotifier();
}
binder->linkToDeath(gDeathNotifier);
gCameraService = interface_cast<::android::hardware::ICameraService>(binder);
}
ALOGE_IF(gCameraService == 0, "no CameraService!?");
return gCameraService;
}
3.3 ICameraService
- NOTE:
- 这一节主要是了解一下关于 Binder 通讯中的一些内部逻辑。
- 实际上在
CameraBase
中,所调用的 connect
对应的是 CameraService::connect()
,在下一节中再进行分析。
3.3.1 ICameraService.aidl
- 位置:
frameworks/av/camera/aidl/android/hardware/ICameraService.aidl
aidl
是一种内部进程通讯的描述语言,通过它我们可以定义通讯的接口。
- 注释:
- 这里定义了运行在媒体服务端的,本地摄像头服务的 Binder 接口
/**
* Binder interface for the native camera service running in mediaserver.
*
* @hide
*/
connect
接口:
- 这里的注释说明了,这个方法调用的是旧的
Camera API
,即 API 1
。
/**
* Open a camera device through the old camera API
*/
ICamera connect(ICameraClient client,
int cameraId,
String opPackageName,
int clientUid, int clientPid);
3.3.2 ICameraService.cpp
- 位置:
out/target/product/generic/obj/SHARED_LIBRARIES/libcamera_client_intermediates/aidl-generated/src/aidl/android/hardware/ICameraService.cpp
out
文件夹是源码编译后才生成的.
- 这个
ICameraService.cpp
以及其头文件 ICameraService.h
都是根据其对应的 aidl
文件自动生成的。
BpCameraService::connect()
:
- 注意,这里是
BpCameraservice
,它继承了 ICameraService
,同时也继承了 BpInterface
。
Parcel
可以看成是 Binder
通讯中的信息传递中介。
- 首先把相应的数据写入
Parcel
。
- 然后调用远程接口
remote()
中的处理函数 transact()
。
- 最后通过返回的
reply
数据判断是否有 error
。
::android::binder::Status BpCameraService::connect(const ::android::sp<::android::hardware::ICameraClient>& client,
int32_t cameraId, const ::android::String16& opPackageName,
int32_t clientUid, int32_t clientPid,
::android::sp<::android::hardware::ICamera>* _aidl_return)
{
::android::Parcel _aidl_data;
::android::Parcel _aidl_reply;
::android::status_t _aidl_ret_status = ::android::OK;
::android::binder::Status _aidl_status;
_aidl_ret_status = _aidl_data.writeInterfaceToken(getInterfaceDescriptor());
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_data.writeStrongBinder(::android::hardware::ICameraClient::asBinder(client));
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_data.writeInt32(cameraId);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_data.writeString16(opPackageName);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_data.writeInt32(clientUid);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_data.writeInt32(clientPid);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = remote()->transact(ICameraService::CONNECT, _aidl_data, &_aidl_reply);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_ret_status = _aidl_status.readFromParcel(_aidl_reply);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
if (!_aidl_status.isOk()) {
return _aidl_status;
}
_aidl_ret_status = _aidl_reply.readStrongBinder(_aidl_return);
if (((_aidl_ret_status) != (::android::OK))) {
goto _aidl_error;
}
_aidl_error:
_aidl_status.setFromStatusT(_aidl_ret_status);
return _aidl_status;
}
BnCameraService::onTransact()
:
- 消息处理函数。
- 这个函数太长,只截取
CONNECT
相关的一段。
BpCameraService
通过 Binder
封装了接口,而 BnCameraService
则具体实现接口。
- 注意到这里一一接收了
Bp
传来的数据,然后调用了具体的 connect
函数获取 ICamera
并且返回。
case Call::CONNECT:
{
::android::sp<::android::hardware::ICameraClient> in_client;
int32_t in_cameraId;
::android::String16 in_opPackageName;
int32_t in_clientUid;
int32_t in_clientPid;
::android::sp<::android::hardware::ICamera> _aidl_return;
if (!(_aidl_data.checkInterface(this))) {
_aidl_ret_status = ::android::BAD_TYPE;
break;
}
_aidl_ret_status = _aidl_data.readStrongBinder(&in_client);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
_aidl_ret_status = _aidl_data.readInt32(&in_cameraId);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
_aidl_ret_status = _aidl_data.readString16(&in_opPackageName);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
_aidl_ret_status = _aidl_data.readInt32(&in_clientUid);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
_aidl_ret_status = _aidl_data.readInt32(&in_clientPid);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
::android::binder::Status _aidl_status(connect(in_client, in_cameraId, in_opPackageName, in_clientUid, in_clientPid, &_aidl_return));
_aidl_ret_status = _aidl_status.writeToParcel(_aidl_reply);
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
if (!_aidl_status.isOk()) {
break;
}
_aidl_ret_status = _aidl_reply->writeStrongBinder(::android::hardware::ICamera::asBinder(_aidl_return));
if (((_aidl_ret_status) != (::android::OK))) {
break;
}
}
break;
3.4 ICamera
- 这一节我们回到
CameraBase
关于 connect()
函数的调用中。
3.4.1 ICamera.cpp
- 位置:
frameworks/av/camera/ICamera.cpp
BpCamera
类只提供给 Client
调用的接口。
- 在
BpCamera
类中,有 connect()
函数:
virtual status_t connect(const sp<ICameraClient>& cameraClient)
{
Parcel data, reply;
data.writeInterfaceToken(ICamera::getInterfaceDescriptor());
data.writeStrongBinder(IInterface::asBinder(cameraClient));
remote()->transact(CONNECT, data, &reply);
return reply.readInt32();
}
- 而
BnCamera
类应负责实现接口,但这里有一点特殊,它是通过 CameraService::Client
来实现具体接口的。
- 在
BnCamera
类中,onTransact
函数则有相应的处理:
case CONNECT: {
CHECK_INTERFACE(ICamera, data, reply);
sp<ICameraClient> cameraClient = interface_cast<ICameraClient>(data.readStrongBinder());
reply->writeInt32(connect(cameraClient));
return NO_ERROR;
} break;
3.4.2 CameraService.cpp
- 位置:
frameworks/av/services/camera/libcameraservice/CameraService.cpp
connect()
:
- 注意这里真正实现逻辑是在
connectHelper()
函数中。
- 获得一个客户端实例并且通过
*device
返回。
Status CameraService::connect(
const sp<ICameraClient>& cameraClient,
int cameraId,
const String16& clientPackageName,
int clientUid,
int clientPid,
sp<ICamera>* device) {
ATRACE_CALL();
Status ret = Status::ok();
String8 id = String8::format("%d", cameraId);
sp<Client> client = nullptr;
ret = connectHelper<ICameraClient,Client>(cameraClient, id,
CAMERA_HAL_API_VERSION_UNSPECIFIED, clientPackageName, clientUid, clientPid, API_1,
false, false,
client);
if(!ret.isOk()) {
logRejected(id, getCallingPid(), String8(clientPackageName),
ret.toString8());
return ret;
}
*device = client;
return ret;
}
3.4.3 CameraService.h
- 位置:
frameworks/av/services/camera/libcameraservice/CameraService.h
- 注意这个文件中定义了 CameraService::Client 类,这个类通过它的子类 CameraClient 真正实现了 ICamera 的接口。
connectHelper()
:
- 这个函数实现比较长,截取其中的一段。
- 首先,如果客户端实例已经存在于
MediaRecorder
,则直接将其取出返回。
- 若不存在,则先获取
deviceVersion
,然后再调用 makeClient()
函数创建一个客户端。
- 创建客户端后,需要调用其
initialize()
函数进行初始化,注意其传入的参数是 mModule
,这个参数是连接 Libraries
与 HAL
的关键参数。
sp<BasicClient> clientTmp = nullptr;
std::shared_ptr<resource_policy::ClientDescriptor<String8, sp<BasicClient>>> partial;
if ((err = handleEvictionsLocked(cameraId,
originalClientPid, effectiveApiLevel,
IInterface::asBinder(cameraCb), clientName8,
&clientTmp,
&partial)) != NO_ERROR) {
}
if (clientTmp.get() != nullptr) {
device = static_cast<CLIENT*>(clientTmp.get());
return ret;
}
mFlashlight->prepareDeviceOpen(cameraId);
int id = cameraIdToInt(cameraId);
if (id == -1) {
ALOGE("%s: Invalid camera ID %s, cannot get device version from HAL.", __FUNCTION__,
cameraId.string());
return STATUS_ERROR_FMT(ERROR_ILLEGAL_ARGUMENT,
"Bad camera ID \"%s\" passed to camera open", cameraId.string());
}
int facing = -1;
int deviceVersion = getDeviceVersion(id, &facing);
sp<BasicClient> tmp = nullptr;
if(!(ret = makeClient(this, cameraCb,
clientPackageName, id, facing, clientPid,
clientUid, getpid(), legacyMode, halVersion,
deviceVersion, effectiveApiLevel,
&tmp)).isOk()) {
return ret;
}
client = static_cast<CLIENT*>(tmp.get());
LOG_ALWAYS_FATAL_IF(client.get() == nullptr, "%s: CameraService in invalid state",
__FUNCTION__);
if ((err = client->initialize(mModule)) != OK) {
}
if (effectiveApiLevel == API_1) {
sp<Client> shimClient = reinterpret_cast<Client*>(client.get());
String8 rawParams = shimClient->getParameters();
CameraParameters params(rawParams);
auto cameraState = getCameraState(cameraId);
if (cameraState != nullptr) {
cameraState->setShimParams(params);
} else {
ALOGE("%s: Cannot update shim parameters for camera %s, no such device exists.",
__FUNCTION__, cameraId.string());
}
}
if (shimUpdateOnly) {
mServiceLock.unlock();
client->disconnect();
mServiceLock.lock();
} else {
finishConnectLocked(client, partial);
}
}
device = client;
3.4.4 CameraClient.cpp
- 位置:
frameworks/av/services/camera/libcameraservice/api1/CameraClient.cpp
- 从文件位置也可以看得出,我们现在走的都是
Camera API 1
的流程。
CameraClient
继承了 CameraService::Client
。
CameraClient::initialize()
:
- 获取
CameraHardwareInterface
实例。
- 对
mHardware
进行初始化。
- 设置三个回调函数(这里与数据流密切相关)
status_t CameraClient::initialize(CameraModule *module) {
int callingPid = getCallingPid();
status_t res;
LOG1("CameraClient::initialize E (pid %d, id %d)", callingPid, mCameraId);
res = startCameraOps();
if (res != OK) {
return res;
}
char camera_device_name[10];
snprintf(camera_device_name, sizeof(camera_device_name), "%d", mCameraId);
mHardware = new CameraHardwareInterface(camera_device_name);
res = mHardware->initialize(module);
if (res != OK) {
ALOGE("%s: Camera %d: unable to initialize device: %s (%d)",
__FUNCTION__, mCameraId, strerror(-res), res);
mHardware.clear();
return res;
}
mHardware->setCallbacks(notifyCallback,
dataCallback,
dataCallbackTimestamp,
(void *)(uintptr_t)mCameraId);
enableMsgType(CAMERA_MSG_ERROR | CAMERA_MSG_ZOOM | CAMERA_MSG_FOCUS |
CAMERA_MSG_PREVIEW_METADATA | CAMERA_MSG_FOCUS_MOVE);
LOG1("CameraClient::initialize X (pid %d, id %d)", callingPid, mCameraId);
return OK;
}
- 至此,整个
Libraries
层的 open
流程就结束了,接下来进入到 HAL
层。
3.5 Libraries 中流程简图
4. HAL
4.1 CameraHardwareInterface.h
- 位置:
frameworks/av/services/camera/libcameraservice/device1/CameraHardwareInterface.h
initialize()
:
- 通过
module
,从 HAL
层的库中调用相关的函数获取 Camera
设备信息。
- 根据模块
API
的版本,判断是用 open
函数还是用 openLegacy
。
- 调用
open
后,通过 HAL
中的库,我们的指令就能传递到 Linux Kernel
,从而下达到具体的设备上。(与具体的驱动相关,暂时不去分析)
- 最后初始化预览窗口。
status_t initialize(CameraModule *module)
{
ALOGI("Opening camera %s", mName.string());
camera_info info;
status_t res = module->getCameraInfo(atoi(mName.string()), &info);
if (res != OK) {
return res;
}
int rc = OK;
if (module->getModuleApiVersion() >= CAMERA_MODULE_API_VERSION_2_3 &&
info.device_version > CAMERA_DEVICE_API_VERSION_1_0) {
rc = module->openLegacy(mName.string(),
CAMERA_DEVICE_API_VERSION_1_0,
(hw_device_t **)&mDevice);
} else {
rc = module->open(mName.string(), (hw_device_t **)&mDevice);
}
if (rc != OK) {
ALOGE("Could not open camera %s: %d", mName.string(), rc);
return rc;
}
initHalPreviewWindow();
return rc;
}
- 至此,我们所研究的
Camera Open
整个调用流程就已经比较清晰了。
小结
- 在这篇笔记中,我们主要是从
Camera.open()
方法被调用开始,对源码进行追溯,从而一层层地了解了它的一个调用的过程,与过程中比较重要的一些逻辑。
- 通过这一轮追溯,我们就可以对
Camera
架构有一个更深刻的认识,但是其中可能还有一些知识点没有理清,不过我认为不会影响对于整个架构的了解。
- 我认为比较难去理解的就是
Libraries
中,关于客户端与服务端交互的部分。这一部分我在阅读源码的时候花了很多时间去理解,实际上目前为止,也只是有比较基础的概念。对这部分,还有很多更深入的内容需要去探究,在系统源码分析一书中,有关于 Binder
的很详细的解析,通过深入了解 Binder
机制,我认为应该能更清楚 C/S
相关的内容。
- 实际上,在与
HAL
层接触的这一部分,mModule
这个变量非常关键,但是我认为它的相关内容单独放在一篇笔记中分析,会比较清晰,所以下一篇笔记就先探究 module
相关的内容。