随笔分类 - 大模型
摘要:openai是一家伟大的公司(虽然是closedai),当他们提出agent的概念后,就很神奇。之前通过langchain的langgraph进行写demo,就很好奇,他是怎么基于我的话自动去识别这句话是大模型的闲聊,那句话是大模型去调用tool 1.现象 1.和大模型打招呼,大模型知道回答,这没啥
阅读全文
摘要:openai的调用api几乎成为了实质性的大模型社区的调用标准,你看不论是阿里的灵积,智谱,together,vllm,ollama,fastchat等都支持openai的调用方式,所以这也是大势所趋, 有时候我们想做个中间层,底层调用大模型,上层提供业务服务,特别是许多公司的多节点的agent,如
阅读全文
摘要:我们经常会为了组内谁在占用某块gpu卡而不使用 烦恼,通过简单的代码就能快速识别到这块卡上面的进程是哪个容器的。 下面的代码会给出如下图这样的结果 #! /miniconda3/bin/python # -*- coding: utf-8 -*- import psutil import subpr
阅读全文