gym中的discrete类、box类和multidiscrete类简介和使用
相关文章:
Box() dict()可用于创建连续的空间;OpenAI Gym Discrete和Box spaces同时存在,代码该怎么写;gym中各种离散连续写法
解读gym中的action_space和observation_space
最近在使用MADDPG算法做多智能体仿真,遇到box和multidiscrete类转换问题,现做记录:
maddpg中在train开始的时候,把不同种类的动作建立成了各种不同的分布, 最后的动作输出的是分布,根据分布最后采样得到输出值。
- Box 连续空间->DiagGaussianPdType (对角高斯概率分布)
- Discrete离散空间->SoftCategoricalPdType(软分类概率分布)
- MultiDiscrete连续空间->SoftMultiCategoricalPdType (多变量软分类概率分布)
- 多二值变量连续空间->BernoulliPdType (伯努利概率分布)
1.discrete类
- Discrete类对应于一维离散空间
- 定义一个Discrete类的空间只需要一个参数n就可以了
- discrete space允许固定范围的非负数
2.box类
- box类对应于多维连续空间
- Box空间可以定义多维空间,每一个维度可以用一个最低值和最大值来约束
- 定义一个多维的Box空间需要知道每一个维度的最小最大值,当然也要知道维数。
3.multidiscrete类
用于多维离散空间
多离散动作空间由一系列具有不同参数的离散动作空间组成
- 它可以适应离散动作空间或连续(Box)动作空间
- 表示游戏控制器或键盘非常有用,其中每个键都可以表示为离散的动作空间
- 通过传递每个离散动作空间包含[min,max]的数组的数组进行参数化
- 离散动作空间可以取从min到max的任何整数(包括两端值)
MultiDiscrete用于多维动作空间定义,例如:
dim_1=5
dim_2=10
space = MultiDiscrete([dim_1, dim_2])
表示的就是动作空间里面有两个位置需要你指定动作。第一个位置有5个选择,第二个位置也有10个选择。
print(space.sample())
就会随机选择两个数,由此表示对应的动作
PdType
一个大类 下面有5个可以被继承函数 和5个子类
子函数必须有的函数
-
sample_placeholder
为创建图中的placeholder
-
param_placeholder
为创建图中的placeholder
Pd