随笔分类 - 深度学习
摘要:大模型训练 数据并行相关的学习笔记, 主要内容 zero, zero++
阅读全文
摘要:Paddle图神经网络训练, PGLBox代码阅读笔记, 主要为核心GPU游走相关逻辑, 分布式训练部分后续补充.
阅读全文
摘要:推荐系统中对embedding维度进行自动调优的常见方法 阅读笔记.
阅读全文
摘要:深度迁移学习综述, 里面讲了一些对于search/recommend system中的迁移学习应用
阅读全文
摘要:Large Scale Distributed Deep Networks Downpour SGD: 模型的副本采用异步方式从参数服务器(Parameter Server)中获取参数w和上传Δw到参数服务器 模型副本之间运行独立 参数服务器组各节点之间同样是独立的 优点: 同步SGD: 如果一台机
阅读全文
摘要:开个新坑, pytorch源码阅读…从python代码开始读起. torch/ 1.tensor.py 继承自torch._C._TensorBase , 包括各种操作,TODO:随后看cpp代码 __abs__, __iter__之类的内建方法 requires_grad属性是否需要求导 back
阅读全文
摘要:写在最前 2018年是对自己来说是崭新的一年,在过去的3个多月里,从最基础的lr, 学到现在的LSTM, GAN..感觉第一次追上了计算机科学飞速发展的浪潮。虽然很多地方都仍是一知半解,但时间还长,还是可以学到更多前沿的技术。算是给自己鼓励吧。 Ng的入门课程Machine Learning与D
阅读全文
摘要:LSTM推导 forward propagation def lstm_cell_forward(xt, a_prev, c_prev, parameters): """ Implement a single forward step of the LSTM-cell as described in
阅读全文