08 2022 档案
摘要：在RL中，需要对数据进行采样，因此如何构造可采样的数据或数据块，则是需要关注的问题： if self.actor_critic.is_recurrent: data_generator = rollouts.recurrent_generator( advantages, self.num_mini
阅读全文
摘要：在CNN网络层定义中，发现了如下的问题： 其中红框的位置，应该是输入数据的维度，比如，我们这里的输入数据格式为： torch.Size([8, 4, 84, 84])，其中，8是batch-size, 4 为维度数，按说，红框位置处应为维度4，但这里却是直接使用input 数据，而不是input的格
阅读全文
摘要：今天在进行offlinerl 的代码调试时，发现了一个奇怪的问题： 报错的代码路径是在安装包内，而不是在工程路径名下，且无法修改代码，pdb也无法进入。经与同学研究，我们首先尝试把原来的offlinerl 这个安装包卸载，即：pip uninstall offlinerl 后再次按照提示，重新安装o
阅读全文
摘要：Specifically, we average performance over 10 random seeds, and reduce the number of training observations inverse proportionally to the action repeat
阅读全文
摘要：We also use a smaller mini-batch size of 256 without any noticeable performance degradation. This is in contrast to CURL and DrQ that both use a large
阅读全文
摘要：在drqv2中，从环境中得到image-based观测obs，之后经过aug，生成aug之后的obs，之后再输入encoder网络，再输入2个critic和actor网络。 这里注意： 与drqv中把encoder与critic和actor相结合不同，drqv-2则是把encoder单独列为上游网络
阅读全文
摘要：投稿时，遇到一个问题，提交的论文编辑页始终是乱码，经搜索，发现是提交的文档类型选择及顺序摆放的问题。 1. 要按照tips的要求，把latex的主文件 tex作为首个文件，并选择为manuscript. 2.其他的latex支持文件，选为 latex support files(*.bib,*.st
阅读全文
摘要：原文地址：LaTeX中ref{}引用标号不正确的问题 作者：猪胖胖猪 部分期刊模板下表格、图片的引用会出现不正确的问题。比如第一张图片定义的label为label{fig1}，tex文件中引用ref{fig1}，但编译后出现的是Figure 2或是Figure x.x。 解决方法： 在figure（
阅读全文
