AndroidLab:一个系统化的Android代理框架，包含操作环境和可复现的基准测试，支持大型语言模型和多模态模型。

2024-10-31，由清华大学和北京大学共同创建的AndroidLab数据集，为安卓自主代理的训练和评估提供了一个包含操作环境、行动空间和可复现基准的系统框架，这对于推动安卓代理技术的发展具有重要意义。

 

一、研究背景：

随着自主代理与现实世界互动中的重要性日益增加，特别是安卓代理，已成为近期频繁提及的互动方式。然而，现有的安卓代理训练和评估研究缺乏对开源和闭源模型的系统性探索。

 

目前遇到困难和挑战：

1、训练和评估移动代理面临的挑战包括缺乏系统性的探索，以及对静态环境的依赖，这限制了代理的实际交互能力。

2、现有的基准测试缺乏对模型行为的系统性评估，限制了对模型行为的分析、洞察力的整合以及强化学习实验的有效进行。

3、缺乏统一的基准比较开源和闭源模型在不同模态下的表现，限制了提升开源解决方案的机会。

 

二、让我们一起来看一下AndroidLab

AndroidLab是一个系统性的安卓代理框架，包括操作环境、行动空间和可复现基准。

包括预定义的安卓虚拟设备和覆盖九个应用的138个任务。通过使用预加载的应用程序操作历史和离线数据的安卓虚拟设备，AndroidLab确保了可复现性，并消除了外部网络或时间依赖。

 

AndroidLab构建 :

AndroidLab的构建涉及任务推导和扩展、自动探索以及手动注释。

通过学术数据集和手动编写的指令来种子任务生成，然后使用语言模型创建额外的任务，并通过审核添加到数据集中。自动任务探索使用LLMs和LMMs输出完成状态，初步使用手动选择来验证结果，后来用奖励模型替代。手动注释包括指令检查、初步熟悉、任务执行和交叉验证。

 

AndroidLab的特点：

1、支持大型语言模型（LLMs）和多模态模型（LMMs）在同一行动空间。

2、包括XML模式和SoM模式，确保不同观察模式下的动作一致性。

3、引入ReAct和SeeAct框架，允许代理逐步思考和执行任务。

4、提供了精确的任务完成和进度评估。

AndroidLab支持文本和多模态训练，通过在线注释工具收集操作记录，该工具使用ADB命令监控用户在手机上的交互，并在每个动作之前捕获屏幕截图和页面XML。

 

基准测试：

AndroidLab基准测试提供了一个确定性和可复现的评估平台，允许用户公平且具有挑战性地比较安卓代理的能力。基准测试包括操作任务和查询任务，以及基于设备和屏幕状态的任务完成评估系统。

 

三、让我们一起展望AndroidLab应用

比如，我是一个安卓应用的测试人员，我想要测试应用在不同用户操作下的表现。

日常工作状态是，说起这个事吧，让人头疼。我要手动一遍又一遍地去点击、滑动屏幕，还要记录下每个操作后应用的反应，看看有没有bug，用户体验是否流畅。比如我要测试应用里的日程管理功能，我得自己打开应用，找到日程管理的界面，然后手动添加一个事件，设置时间、地点啥的，费时费力，脑壳疼。

但是，现在有了AndroidLab数据集，这事儿就简单多了。这就好比给应用来了个“智能替身”，能自动帮我模拟各种用户操作，从简单的点击到复杂的多步骤任务，都能搞定。我只需要告诉它你要测试什么功能，比如“添加一个联系人”，然后它就能自动在应用里找到对应的界面，输入信息，然后检查结果是不是符合预期。

比如，我想测试应用的响应速度，AndroidLab数据集能帮我记录下每个操作的响应时间，还能分析出哪些操作特别慢，或者有没有卡顿的情况。

比如，我想测试一个个人财务管理应用，我说：“记录一笔3000元的收入，标记为投资收入。AndroidLab数据集帮助我训练应用来准确执行这些任务。

告诉你啊，还有一个最棒的功能，AndroidLab数据集还能帮我模拟不同的用户行为，比如有些用户可能喜欢用语音输入，有些用户可能更喜欢用键盘。我能通过这个数据集，测试应用在不同用户习惯下的表现，确保每个用户都能有良好的体验。