上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

2021年12月30日

模型部署工程师与模型训练工程师各应该掌握的技术

摘要: 现在算法行业有这样几类从业者: 训练阶段: 提升算法精度的,工作职责就是紧跟最新研究工作,从论文中复现模型,用于自己公司的数据上,并调整模型结构、参数,让其更适用于自己公司的数据集。这类工作的招聘要求,大概有熟悉CV、NLP等领域内的算法,熟悉tensorflow、pytorch等框架,能熟练阅读论 阅读全文

posted @ 2021-12-30 16:10 MissSimple 阅读(482) 评论(0) 推荐(0) 编辑

tensorrt与tvm

摘要: tensorrt 和tvm都是用于训练后模型的部署的,它们能够多模型进行量化、算子融合等,使模型运行更快。 如果采用GPU硬件平台,一般会使用TensorRT方式部署,因为TensorRT能够充分发挥GPU平台的性能,同时也做了很多的优化(算子融合,量化等),所以在性能上有比较大的优势。不过,Ten 阅读全文

posted @ 2021-12-30 10:46 MissSimple 阅读(512) 评论(0) 推荐(0) 编辑

2021年12月21日

CV新工作 2021

摘要: pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

posted @ 2021-12-21 15:44 MissSimple 阅读(42) 评论(0) 推荐(0) 编辑

2021年12月10日

seldon core

摘要: KFServing 对 Seldon Core 的 DAG 推理图进行了简化。KFServing 只支持 Transformer,Predicator。在实现上,KFServing 因为进行了简化,所以不再需要 Seldon Core 中的 Engine 这一角色。请求在 Transformer 和 阅读全文

posted @ 2021-12-10 14:32 MissSimple 阅读(244) 评论(0) 推荐(0) 编辑

2021年12月9日

kserve 1

摘要: kserve是为了解决训练过后的模型,如何上线服务的问题。其实,各大深度学习平台也注意到训练到上线服务这个gap,所以tensorflow、pytorch对应出了 TFServing、torchserve, nvidia出了triton。这些推理平台满足了基本的推理服务上线要求,而 kserve依托 阅读全文

posted @ 2021-12-09 16:24 MissSimple 阅读(755) 评论(0) 推荐(0) 编辑

CV新工作 2021

摘要: pix2seq: https://arxiv.org/pdf/2109.10852.pdf DERT: https://arxiv.org/pdf/2005.12872.pdf ViT: https://arxiv.org/pdf/2010.11929.pdf MAE: https://arxiv. 阅读全文

posted @ 2021-12-09 10:11 MissSimple 阅读(35) 评论(0) 推荐(0) 编辑

2021年12月2日

大模型优化1:简介

摘要: 随着深度学习模型越来越大,训练模型需要的GPU越来越多,对于Google、Fackbook来说,不差钱,但是对于很多资金紧张的团队来说,训练大模型的花费变得负担不起。 为了解决这个问题,”模型内存优化“技术开始展露头角,该技术致力于减少模型训练时占据的显存,并极力缩小由此带来的时间开销。 其实在推理 阅读全文

posted @ 2021-12-02 08:53 MissSimple 阅读(489) 评论(0) 推荐(0) 编辑

2021年11月26日

knativeport, gunicorn port,k8s port的联系

摘要: 1、Gunicorn启动server时如何选定端口? 如图这是一个用flask定义的简单的web server,我们平时在本地开发时,一般会受用flask自带的server启动app,那么其会采用__main__中定义的port、host来启动。 但是因为自带的server性能不好,在上线时一般会选 阅读全文

posted @ 2021-11-26 11:17 MissSimple 阅读(250) 评论(0) 推荐(0) 编辑

K8s的probe有哪些类型?如何用probe进行探测?容器的默认probe是什么?

摘要: 容器启动后,kubelet会调用container的handler对container的状态进行诊断, Handler有三种: ExecAction、TcpSockerAction、HttpGetAction,诊断结果有三种:Succees、Failure、Unknown。 (1) ExecActi 阅读全文

posted @ 2021-11-26 10:48 MissSimple 阅读(250) 评论(0) 推荐(0) 编辑

2021年11月24日

list-watch理解

摘要: kube-controller-manager(运行在Master),kube-scheduler(运行在 Master),kublete(运行在 Node)在启动后会一直watch APIServer发出来的事件。 kubectl创建rs时,会发送请求到api-server,api-server经 阅读全文

posted @ 2021-11-24 17:21 MissSimple 阅读(276) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

导航