2023年8月
NCCL接口测试
摘要： ## 准备知识 PyTorch分布式通信的程序包相关的API。 - `torch.distributed.init_process_group()` ，初始化进程组。 - `torch.distributed.get_rank()`，可以获得当前进程的`rank`，`rank % torch.tor 阅读全文
posted @ 2023-08-16 18:34 ByteHandler 阅读(861) 评论(0) 推荐(0) 编辑
DoctorGPT
摘要： DoctorGPT使用LLaMA2作为基座模型，在医疗对话数据上进行了SFT微调，然后通过强化学习（Reinforcement Learning）进一步提升了模型效果。支持离线部署，移动端运行仅需要3GB内存。 DoctorGPT github代码仓库：https://github.com/Spee 阅读全文
posted @ 2023-08-16 18:20 ByteHandler 阅读(769) 评论(4) 推荐(0) 编辑
2023年2月
Tensor Broadcast
摘要： 矩阵广播。 阅读全文
posted @ 2023-02-21 19:11 ByteHandler 阅读(148) 评论(0) 推荐(0) 编辑
ASR相关资料
摘要： ASR相关的论文和博客。 阅读全文
posted @ 2023-02-13 09:19 ByteHandler 阅读(50) 评论(0) 推荐(0) 编辑
如何配置Docker网络代理
摘要： 如何配置Docker网络代理 阅读全文
posted @ 2023-02-09 16:40 ByteHandler 阅读(2443) 评论(0) 推荐(0) 编辑
2023年1月
MySQL事务读已提交隔离级别的数据可见性
摘要： 模拟MySQL事务Read Commited已提交读隔离级别数据的可见性。 阅读全文
posted @ 2023-01-29 09:53 ByteHandler 阅读(40) 评论(0) 推荐(0) 编辑
PyTorch分布式并行训练
摘要： PyTorch分布式并行训练原理分析。 阅读全文
posted @ 2023-01-12 14:04 ByteHandler 阅读(795) 评论(0) 推荐(1) 编辑
Wenet分布式训练对学习率调整的影响
摘要： Wenet学习率Warmup策略和分布式数据并行策略对学习率调整影响。 阅读全文
posted @ 2023-01-09 18:44 ByteHandler 阅读(429) 评论(0) 推荐(0) 编辑
Wenet多机多卡分布式训练
摘要： Wenet多机多卡分布式训练实验和源码分析。 阅读全文
posted @ 2023-01-09 18:38 ByteHandler 阅读(1017) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示