摘要：先说结论，model.state_dict()是浅拷贝，返回的参数仍然会随着网络的训练而变化。应该使用deepcopy(model.state_dict())，或将参数及时序列化到硬盘。 再讲故事，前几天在做一个模型的交叉验证训练时，通过model.state_dict()保存了每一组交叉验证模型的 阅读全文

摘要：当模型需要接受多个模态的数据时，往往需要设计合适的方法让他们能进行信息的融合，Joint embedding是一种较为普遍的思路，即将他们映射到同一个向量空间中，再进行融合。 向量拼接、元素级相乘、做out product得到矩阵、求和。缺点是缺乏表达能力 Multimodal Compact Bi 阅读全文

摘要：在Windows上使用Dataloader并设置num_workers为一个非零数字，enumerate取数据时会引发"EOFError: Ran out of input"的报错。解决方法是num_workers=0。 阅读全文