吃瓜的哲学

摘要： 多头自注意层 上一篇描述了单头多注意层，但在实际应用中，通常使用的是多头自注意层，多头自注意层是由多个单头的组合。 1. 数学形式 输入：\(X=\{x_1, x_2,...,x_m\}\)，\(x_i\)是\(d_{in}\times1\)的向量。 参数：每个单头自注意层都有三个参数矩阵，\(W_ 阅读全文

摘要： 自注意机制 1. 自注意机制的特点 考虑这样一个问题，输入长度为m的序列\(\{x_1, x_2,...,x_m\}\)，序列中的元素都是向量，要求输出长度同样为m的序列\(\{c_1, c_2,...,c_m\}\)，另外还有两个要求： 序列的长度m是不确定的，可以动态变化，但是神经网络的参数数量 阅读全文

摘要： 强化学习在连续时间系统问题上求解相比于离散时间系统而言更加的困难，因此发展受到了延迟。下面讨论一下原因 考虑到一个连续时间的非线性动态规划系统 \(\dot{x}=f(x)+g(x)u(83)\) 目标导向的最优行为的概念是通过定义与反馈控制策略相关联的性能度量或成本函数来捕获的 \(V^\mu(x 阅读全文

摘要： 1 简介 每一个生物都与其环境相互作用，并利用这些相互作用来改善自身的活动，以生存和增长。我们称基于与环境交互的动作修正为强化学习(RL)。这里有很多类型的学习，包括监督学习，非监督学习等。强化学习是指一个行动者或代理与它的环境相互作用，根据收到的刺激对其行为的响应，并修改其行为或控制政策。 有一类 阅读全文

摘要： 1 基础概念 动态规划是利用最优性原理来解决最优和最优控制问题的一个非常有用的工具。最优性原则可以表示为：“最优策略具有这样的性质:无论初始状态和初始决策是什么，其余决策都必须构成与第一个决策产生的状态相关的最优策略。” 动态规划有几个方面。人们可以考虑离散时间系统或连续时间系统，线性系统或非线性系 阅读全文

摘要： 以离散时间系统为例，对自适应动态规划（Adaptive Dynamic Programming，ADP）中Action Network和Critic Network两个网络的更新方式进行说明。 一、系统定义 1.状态方程 state equation ${X_{k + 1}} = {F_k}({X_ 阅读全文

摘要： 1、Ros的常用命令 rostopic rosservice rosnode rosparam rosmsg rossrv 2、例子 运行roscore#作用是启动ros master 运行rosrun turtlesim turtlesim_node#启动海龟仿真器 运行rosrun turtle 阅读全文

摘要： 机器人操作系统（Robot Operating System，ROS）用于编写机器人软件程序的一种具有高度灵活性的软件架构。本篇内容用于记录ROS的安装过程。 1、更换Ubuntu软件源 默认的软件源下载速度过慢，因此需要更换国内的软件源提高下载速度，具体过程可以自行百度，或者参考(https:// 阅读全文

摘要： Ubuntu一般都会默认包含Intel显卡的驱动，但是如果出现画面卡顿异常很大可能是因为显卡驱动的问题，Ubuntu16.04中默认内核版本为4.4，但4.4内核不包含Intel HD Graphics 630的驱动。首先尝试了网上很多方法，下载intel-graphics-update-tool_ 阅读全文

摘要： 当你在win上下载安装好TORCS和patch之后（如果不会请翻看之前的文章），你可以点击安装目录中的wtorcs.exe来启动客户端 TORCS总共有以下竞赛模式 其中practice模式只能选择一个机器人 当你选择好金赛模式之后，可以通过configure race来选择地图和对手 在选择对手一 阅读全文