模型训练性能优化

代码优化

1.内存优化:通过内存池,对象池减少内存的申请释放;thread local;增加缓存命中率;

2.锁的优化:读写锁,互斥锁,自旋锁,无锁队列,通过分片的方式实现无锁化;

3.算法优化:去重算法,排序算法

4.线程优化:减少线程数,减少线程切换,线程绑核,关键耗时操作加到并发数;

 

流水线优化(预取)

1.将耗时多的unique op提前到dataset流水线执行,可以将耗时完全overlap

2.

通信优化:

 

图优化

 

编译优化

posted @ 2020-10-16 09:49  simon1024  阅读(257)  评论(0编辑  收藏  举报