随笔分类 -  大模型

摘要:openai是一家伟大的公司(虽然是closedai),当他们提出agent的概念后,就很神奇。之前通过langchain的langgraph进行写demo,就很好奇,他是怎么基于我的话自动去识别这句话是大模型的闲聊,那句话是大模型去调用tool 1.现象 1.和大模型打招呼,大模型知道回答,这没啥 阅读全文
posted @ 2024-07-15 17:34 仙守 阅读(601) 评论(0) 推荐(0) 编辑
摘要:openai的调用api几乎成为了实质性的大模型社区的调用标准,你看不论是阿里的灵积,智谱,together,vllm,ollama,fastchat等都支持openai的调用方式,所以这也是大势所趋, 有时候我们想做个中间层,底层调用大模型,上层提供业务服务,特别是许多公司的多节点的agent,如 阅读全文
posted @ 2024-06-18 11:36 仙守 阅读(198) 评论(0) 推荐(0) 编辑
摘要:我们经常会为了组内谁在占用某块gpu卡而不使用 烦恼,通过简单的代码就能快速识别到这块卡上面的进程是哪个容器的。 下面的代码会给出如下图这样的结果 #! /miniconda3/bin/python # -*- coding: utf-8 -*- import psutil import subpr 阅读全文
posted @ 2024-05-08 09:06 仙守 阅读(69) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示