摘要: 概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标,传入policy进行控制,可以zero-shot泛化到novel object,还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 阅读全文
posted @ 2023-12-17 17:08 Eirrac 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 概述 提出了InstructRL,包含一个multimodal transformer用来将视觉obs和语言的instruction进行编码,以及一个transformer-based policy,可以基于编码的表示来输出actions。 前者在1M的image-text对和NL的text上进行训 阅读全文
posted @ 2023-12-16 17:01 Eirrac 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因:plan的正确率有限,严重依赖于feedback(与sim或者真实环境的交互),利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型(执行超过 阅读全文
posted @ 2023-12-01 11:01 Eirrac 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 1 Reasoning 定义 推理:以逻辑和系统的方式进行思考,利用证据和过往经验来得出结论或作出抉择。 演绎推理Deductive Reasoning 结论来源于前提假设的阳性 前提假设:哺乳动物都有肾脏 前提假设:鲸是哺乳动物 结论:鲸有肾脏 归纳推理Inductive Reasoning 结论 阅读全文
posted @ 2023-11-30 17:30 Eirrac 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 概述 Learning form the Void (LfVoid) 根据给定的language instruction对observation进行appearance-based and structure-based修改得到goal images,为RL提供奖励信号。提升了example-bas 阅读全文
posted @ 2023-11-28 15:53 Eirrac 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 挑选了自己感兴趣的部分整理了一下。 目录A Survey on Large Language Model based Autonomous Agents1 LLM-AA Construction1.1 Architecture Design1.1.1 Profile1.1.2 Memory1.1.3 阅读全文
posted @ 2023-11-21 17:22 Eirrac 阅读(309) 评论(0) 推荐(0) 编辑
摘要: Tmux 常用快捷键 window 窗口操作 ctrl+b c 创建新窗口 ctrl+b & 删除当前窗口 ctrl+b p 切换到上一个窗口 ctrl+b n 切换到下一个窗口 ctrl+b l 在两个窗口之间来回切换 ctrl+b {n} 切换到编号{n}窗口 ctrl+b , 重命名窗口 ct 阅读全文
posted @ 2023-11-01 17:08 Eirrac 阅读(1287) 评论(0) 推荐(0) 编辑
摘要: 看提示是windows下中文环境安装包的时候出现的编码问题,默认用了gbk编码,改为utf-8编码即可 解决方法: 添加系统环境变量 PYTHONUTF8 值为1 阅读全文
posted @ 2023-10-12 15:42 Eirrac 阅读(104) 评论(0) 推荐(0) 编辑
摘要: error: sys/cdefs.h: No such file or directory 问题说明 今天在WSL上(ubuntu 18.04)用make -j编译一个项目时报了一个错: fatal error: sys/cdefs.h: No such file or directory # in 阅读全文
posted @ 2021-04-13 15:44 Eirrac 阅读(2017) 评论(0) 推荐(0) 编辑
摘要: 问题说明 服务器:安装了win10自带的“openssh服务器”,用start-service sshd开启服务,在配置表里把端口配置成22022。选用这个端口是因为我还在通过ToDesk用客户端远程连接服务器的桌面,可能已经占用了默认的ssh端口22 客户端:采用windows WSL (ubun 阅读全文
posted @ 2021-04-04 10:15 Eirrac 阅读(1353) 评论(0) 推荐(0) 编辑