摘要： 在安装d4rl时报错，AttributeError: 'MazeEnv' object has no attribute 'sim'。如下： 后经过研究，发现是因为安装的gym 版本为0.24.1可能会引发一些问题，参考之前的安装，发现需要降低安装的gym的版本。 pip install gym== 阅读全文

摘要： 经过多次尝试，发现安装d4rl需要使用conda 虚拟环境，不能使用virtualenv 来安装。 1. 下载anaconda: Anaconda3-5.2.0-Linux-x86_64.sh 2. 使用 bash Anaconda3-5.2.0-Linux-x86_64.sh 安装，选择默认路径， 阅读全文

摘要： 在gpu-16上安装anaconda时，报错： 经过研究，按照提示：https://conda.io/miniconda.html. 且有人说是安装Miniconda，又下载并安装了miniconda: 还是报错，后反复安装和卸载 anaconda和miniconda，还是报错，后再次删除所有安装， 阅读全文

摘要： 在安装d4rl时，出现了这样的问题： gym.error.UnregisteredEnv: No registered env with id: hopper-medium-v2 后经检查，是因为安装d4rl时，报错： No module named 'mjrl'Warning: Flow fail 阅读全文

摘要： 在安装anconda虚拟环境时，遇到这样的问题： 经研究，发现通过下面的方法可以解决： pip install protobuf==3.19.0 参考文献： https://blog.csdn.net/qq_51447436/article/details/125573273 阅读全文

摘要： 为使用多个服务器节点进行训练offline_per,因为需要安装Atari,Mujoco, d4rl以及dm-control等，准备在多个节点上安装cond环境。但遇到一些问题： 经过研究，发现可能是默认的安装源出问题了，改正如下： ubuntu 系统： ctrl + alt + T 打开终端（Te 阅读全文

摘要： 在RL中，需要对数据进行采样，因此如何构造可采样的数据或数据块，则是需要关注的问题： if self.actor_critic.is_recurrent: data_generator = rollouts.recurrent_generator( advantages, self.num_mini 阅读全文

摘要： 在CNN网络层定义中，发现了如下的问题： 其中红框的位置，应该是输入数据的维度，比如，我们这里的输入数据格式为： torch.Size([8, 4, 84, 84])，其中，8是batch-size, 4 为维度数，按说，红框位置处应为维度4，但这里却是直接使用input 数据，而不是input的格 阅读全文

摘要： 今天在进行offlinerl 的代码调试时，发现了一个奇怪的问题： 报错的代码路径是在安装包内，而不是在工程路径名下，且无法修改代码，pdb也无法进入。经与同学研究，我们首先尝试把原来的offlinerl 这个安装包卸载，即：pip uninstall offlinerl 后再次按照提示，重新安装o 阅读全文

摘要： Specifically, we average performance over 10 random seeds, and reduce the number of training observations inverse proportionally to the action repeat 阅读全文