摘要:
1.离散采样不可导问题,使用gumbel采样方式将不可导部分拉出计算图 细节做法https://www.cnblogs.com/initial-h/p/9468974.html 2.关于NLLloss和cross entropy loss 的关系和区别 cross中是计算概率模型输出的概率p和真实的 阅读全文
摘要:
1.在opennmt框架代码中ensemble的做法是在opennmt/utils/checkpoint.py 对模型中全部参数进行平均,平均后创建新的checkpoint 2.在nmt中https://github.com/tensorflow/nmt tensorflow的一个框架(工程师个人框 阅读全文