上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

2021年12月30日

模型部署工程师与模型训练工程师各应该掌握的技术

摘要： 现在算法行业有这样几类从业者： 训练阶段： 提升算法精度的，工作职责就是紧跟最新研究工作，从论文中复现模型，用于自己公司的数据上，并调整模型结构、参数，让其更适用于自己公司的数据集。这类工作的招聘要求，大概有熟悉CV、NLP等领域内的算法，熟悉tensorflow、pytorch等框架，能熟练阅读论 阅读全文

posted @ 2021-12-30 16:10 MissSimple 阅读(437) 评论(0) 推荐(0) 编辑

tensorrt与tvm

摘要： tensorrt 和tvm都是用于训练后模型的部署的，它们能够多模型进行量化、算子融合等，使模型运行更快。 如果采用GPU硬件平台，一般会使用TensorRT方式部署，因为TensorRT能够充分发挥GPU平台的性能，同时也做了很多的优化（算子融合，量化等），所以在性能上有比较大的优势。不过，Ten 阅读全文

posted @ 2021-12-30 10:46 MissSimple 阅读(475) 评论(0) 推荐(0) 编辑

2021年12月21日

CV新工作 2021

摘要： pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

posted @ 2021-12-21 15:44 MissSimple 阅读(39) 评论(0) 推荐(0) 编辑

2021年12月10日

seldon core

摘要： KFServing 对 Seldon Core 的 DAG 推理图进行了简化。KFServing 只支持 Transformer，Predicator。在实现上，KFServing 因为进行了简化，所以不再需要 Seldon Core 中的 Engine 这一角色。请求在 Transformer 和 阅读全文

posted @ 2021-12-10 14:32 MissSimple 阅读(236) 评论(0) 推荐(0) 编辑

2021年12月9日

kserve 1

摘要： kserve是为了解决训练过后的模型，如何上线服务的问题。其实，各大深度学习平台也注意到训练到上线服务这个gap，所以tensorflow、pytorch对应出了 TFServing、torchserve， nvidia出了triton。这些推理平台满足了基本的推理服务上线要求，而 kserve依托 阅读全文

posted @ 2021-12-09 16:24 MissSimple 阅读(705) 评论(0) 推荐(0) 编辑

CV新工作 2021

摘要： pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

posted @ 2021-12-09 10:11 MissSimple 阅读(35) 评论(0) 推荐(0) 编辑

2021年12月2日

大模型优化1：简介

摘要： 随着深度学习模型越来越大，训练模型需要的GPU越来越多，对于Google、Fackbook来说，不差钱，但是对于很多资金紧张的团队来说，训练大模型的花费变得负担不起。 为了解决这个问题，”模型内存优化“技术开始展露头角，该技术致力于减少模型训练时占据的显存，并极力缩小由此带来的时间开销。 其实在推理 阅读全文

posted @ 2021-12-02 08:53 MissSimple 阅读(428) 评论(0) 推荐(0) 编辑

2021年11月26日

knativeport， gunicorn port，k8s port的联系

摘要： 1、Gunicorn启动server时如何选定端口？ 如图这是一个用flask定义的简单的web server，我们平时在本地开发时，一般会受用flask自带的server启动app，那么其会采用__main__中定义的port、host来启动。 但是因为自带的server性能不好，在上线时一般会选 阅读全文

posted @ 2021-11-26 11:17 MissSimple 阅读(234) 评论(0) 推荐(0) 编辑

K8s的probe有哪些类型？如何用probe进行探测？容器的默认probe是什么？

摘要： 容器启动后，kubelet会调用container的handler对container的状态进行诊断， Handler有三种： ExecAction、TcpSockerAction、HttpGetAction，诊断结果有三种：Succees、Failure、Unknown。 (1) ExecActi 阅读全文

posted @ 2021-11-26 10:48 MissSimple 阅读(239) 评论(0) 推荐(0) 编辑

2021年11月24日

list-watch理解

摘要： kube-controller-manager（运行在Master），kube-scheduler（运行在 Master），kublete（运行在 Node）在启动后会一直watch APIServer发出来的事件。 kubectl创建rs时，会发送请求到api-server，api-server经 阅读全文

posted @ 2021-11-24 17:21 MissSimple 阅读(274) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

导航