摘要:
对于多任务学习,当任务数量很大时,其计算复杂度很高,此时需要用多CPU/多GPU对学习算法进行加速,尽量使𝐾个任务的梯度的计算分摊到𝐾个不同的工作节点(worker)上。但实际上由于正则项的存在和损失函数的复杂性,想做到这个需要我们仔细地设计并行多任务学习算法,在保证算法加速的同时而尽量不影响优化算法最终的收敛,并保证优化算法结果的一致性。我们将会从MTL的单机优化方法开始,逐步说明分布式优化的必要性并先后介绍它的两种主要实现手段——同步分布式优化算法和异步分布式优化算法。 阅读全文
![分布式多任务学习:同步和异步优化算法](https://img2020.cnblogs.com/blog/1784958/202110/1784958-20211030220820526-1227927392.png)
摘要:
给组里高性能计算方向同学拟的学习路线,包括基础课程、常备文档和手册、开源项目三个部分组成。基础课程包括“(并行)算法设计与分析”、“数值算法”、计算机系统、操作系统和并行体系结构与编程,常备文档和手册包括了C/C++语言文档、CUDA文档、MPI文档、Unix编程文档和太湖之光平台的文档等。开源项目包括了基础课程的习题解答与lab代码、一些并行算法优化样例以及一些并行计算相关比赛的项目实战。 阅读全文
![并行计算:高性能计算学习路线(针对大二同学)](https://img2020.cnblogs.com/blog/1784958/202110/1784958-20211030160057677-820363430.png)