摘要: 记录TritonServer部署多模型到多GPU踩坑 | 京东云技术团队 一、问题是怎么发现的 部署chatglm2和llama2到一个4*V100的GPU机器上遇到问题 config.pbtxt 中设置模型分别在指定gpu上部署实例配置不生效 如以下配置为在gpu0上部署本模型,部署count=1个实例,在gpu1上部署本模型,部署count=2个实例 instance 阅读全文
posted @ 2023-10-17 16:14 京东云开发者 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 记一次MySQL5初始化被kill的问题排查 由于测试环境JED申请比较繁琐,所以Eone提供了单机版Mysql供用户使用,近期Eone搭建Mysql5的时候发现莫名被kill了,容器规格是4C8G,磁盘30G。这不科学,之前都是可以的,镜像没变,配置没变,咋就不行了呢,一定不是我的问题,是机器的问题 阅读全文
posted @ 2023-10-17 09:49 京东云开发者 阅读(311) 评论(0) 推荐(5) 编辑