09 2021 档案

FP16
摘要：FP16 稍微介绍一下，FP16，FP32，BF16。 FP32是单精度浮点数，8 bit表示指数，23bit表示小数。FP16采用5bit表示指数，10bit表示小数。BF采用8bit表示整数，7bit表示小数。所以总结就是，BF16的整数范围等于FP32，但是精度差。FP16的表示范围和精度都低 阅读全文
posted @ 2021-09-02 16:12 John_Ran 阅读(1912) 评论(0) 推荐(0) 编辑
sublinear技巧
摘要：什么是torch的sublinear技巧 陈天奇的Training Deep Nets with Sublinear Memory Cost告诉我们，训练deep nets的时候，memory的最大的开销来自于储存用于backward的activation。这个很好理解，前向的时候，每一层的acti 阅读全文
posted @ 2021-09-02 16:09 John_Ran 阅读(498) 评论(0) 推荐(0) 编辑