足迹

摘要： 问题 客户在其环境中发现推理延时毛刺问题，如下： 模型为ResNet-152 v1 FP32推理。 从log可见，抖动出现的频率还比较高，且双路时抖动时延高达平均时延的20倍左右，已经会影响客户的SLA(Service Level Agreement)。 初步排查 环境是裸机还是云主机? 裸机 绑核 阅读全文

摘要： 深度学习推理性能优化 推理性能优化: 一个越来越重要的话题 一些初期的探索和经验 推理优化四部曲 算子优化 图优化 模型压缩 部署优化 前方的路 References 推理性能优化: 一个越来越重要的话题 为什么我们开始关注和重视推理性能的优化。 天时 深度学习的上半场主题是自证, 数据科学家们设计 阅读全文