01 2025 档案

Triton+vllm

摘要：使用Triton+vLLM推大模型阅读全文

posted @ 2025-01-09 17:07 badwood 阅读(48) 评论(0) 推荐(0) 编辑

公告

昵称： badwood
园龄： 17年10个月
粉丝： 21
关注： 2

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

1. Re:一个低级问题导致vLLM加载大模型时ray卡死
@Dar_Alpha 不好意思才看到。这个问题没碰到过。看日志是Gloo的问题，建议先做减法，把能去掉的可能都去掉，再一步步调试。...
--badwood
2. Re:Springboot+Quartz+druid+多库
大佬，Unknown column '0x' in 'field list 这个问题的插入语句是插入qrtz_triggers表是报错的。你还能回忆起是怎么解决的吗？ INSERT INTO QRTZ...
--御坂10027
3. Re:一个低级问题导致vLLM加载大模型时ray卡死
(RayWorkerWrapper pid=6125, ip=10.128.163.124) INFO 05-23 09:21:07 utils.py:660] Found nccl from lib...
--Dar_Alpha
4. Re:一个低级问题导致vLLM加载大模型时ray卡死
大佬有遇到这个问题吗
--Dar_Alpha
5. Re:Springboot+Quartz+druid+多库
@highyeyeye 太久没有弄这个了，不记得是哪条语句的问题。建议你打开druid的日志，并结合数据库日志查看是哪条sql出问题了。另外，这个问题一般就是blog字段插值的问题，考虑下数据库的差...
--badwood

Badwood's Blog