随笔分类 -  machine learning && LLM

上一页 1 2 3 4 5 6 7 下一页

机器学习&&LLM
litellm ollama python api 模式测试
摘要：一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用 python代码模式 appv4.py 此模式litellm 会自己进行 from l 阅读全文

posted @ 2024-07-30 07:13 荣锋亮 阅读(323) 评论(0) 推荐(0) 编辑

litellm openai 标准格式的支持100+ 大模型的负载均衡&异常fallback 框架
摘要：litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）同时也 阅读全文

posted @ 2024-07-29 00:42 荣锋亮 阅读(274) 评论(0) 推荐(0) 编辑

通过instructor 对于LLM 进行结构化输出
摘要：很多时候我们是需要对于LLM 生成的内容进行结构化输出的，比如我们希望利用LLM的能力，对于用户发布的内容进行情感分析，或者对于文档内容提取关键信息并转换为结构化的内容，instructor 是一个很不错的选择（支持多种语言的），以下演示下基于python 的 参考使用 大模型部署 为了方便使用了基 阅读全文

posted @ 2024-07-28 08:00 荣锋亮 阅读(182) 评论(5) 推荐(0) 编辑

ollama push 自己的模型
摘要：ollama 模型运行之后会生成ssh key ，我们首先需要在https://ollama.com/ 进行注册账户，然后添加自己的key，之后才能进行push key 的位置 默认一般会有一个~/.ollama/id_ed25519.pub，但是也可能会没有（比如调整了配置）还有一个是在/usr/ 阅读全文

posted @ 2024-07-27 18:11 荣锋亮 阅读(411) 评论(0) 推荐(0) 编辑

ollama llama3.1 8b openbuddy中文模型
摘要：openbuddy 对于 llama3.1 8b 模型进行了少量的中文训练实现了不错的中文理解处理，以下是使用社区提供的gguf 格式，制作一个ollama 新模型 模型制作 下载模型 下载gguf 文件，推荐使用加速工具 Modelfile 参考了llama3.1 的 FROM /home/mod 阅读全文

posted @ 2024-07-27 14:48 荣锋亮 阅读(262) 评论(0) 推荐(0) 编辑

ollama 0.2.8 发布
摘要：就在今天ollama 0.2.8 发布了，提供了新的模型mistral-nemo 以及nuextract 的支持，mistral-nemo 是一个新发布的模型，很值得体验下 参考资料 https://ollama.com/library/mistral-nemohttps://ollama.com/ 阅读全文

posted @ 2024-07-23 15:53 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

ollama 0.2.7 支持函数调用了
摘要：就在最新的ollama 发布版本中对于类似openai 的函数调用支持了，但是目前有一些问题，就是相关历史的model 都需要修改下（添加TEMPLATE 对于tools的支持），一些是一个简单的测试 参考示例 使用了phidata 这个工具包 一个参考qwen2:7b 模型的修改 参考了llama 阅读全文

posted @ 2024-07-19 18:04 荣锋亮 阅读(421) 评论(0) 推荐(0) 编辑

通过vllm 部署qwen2 模型
摘要：主要是一个简单测试 安装vllm pip 模式安装 部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

posted @ 2024-07-19 08:00 荣锋亮 阅读(2155) 评论(0) 推荐(0) 编辑

ollama 模型离线加载的配置简单说明
摘要：ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接 进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量） 下载的模型数据 模型数据结构 通过直接复制加载的模型 参考服务配置 systemd 服 阅读全文

posted @ 2024-07-18 07:47 荣锋亮 阅读(1212) 评论(0) 推荐(0) 编辑

ollama 的一些参数简单说明
摘要：ollama 提供了不少配置可以方便我们进行ollama 服务的调整，比如访问端口（默认127.0.0.1）,模型内存管理。。。 以下简单说明下访问以及模型内存管理的 完整配置信息 可以通过golang 代码查看，主要定义在envconfig/config.go 中 默认配置 func AsMap( 阅读全文

posted @ 2024-07-16 07:53 荣锋亮 阅读(4965) 评论(0) 推荐(0) 编辑

ollama 0.2.3 发布
摘要：就在今天ollama 0.2.3 发布了，主要修复了关于系统prompt 不能生效的问题，而且通过测试glm4 的兼容也比较好了，以前版本对于结构化输出是有一些问题的 参考资料 https://github.com/ollama/ollama/releases 阅读全文

posted @ 2024-07-13 21:53 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

ollama 0.2.2 发布
摘要：就在今天ollama 0.2.2 解决了不少问题，比如nvida v100 gpu 问题，同时修复了一些关于特定模型以及nvida gpu oom 的问题 说明 以前在测试0.2.1 版本v100 的时候有明显的异常，造成服务不能正常工作， 通过测试0.2.2 目前是可以正常工作了 参考资料 htt 阅读全文

posted @ 2024-07-12 10:14 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

ollama 0.2.0 发布
摘要：就在最近ollama 0.2.0 发布了，比较重要的是支持并发处理 并发处理的特性 并行请求，同时处理多个chat 会话，同步的处理一个文档的多个部分，同时运行多个agent 多模型处理，支持RAG 场景，同时处理嵌入以及文本完成，同时运行多个agent 新模型支持 包含了GLM-4，CodeGee 阅读全文

posted @ 2024-07-09 15:43 荣锋亮 阅读(127) 评论(0) 推荐(0) 编辑

unitycatalog datagrics 开源的data&ai 多模catalog
摘要：unitycatalog datagrics 开源的data&ai 多模catalog 包含的特性 支持任意格式、引擎、资产的多摸接口 支持包含了delta lake，iceberg，uniform，paquert，csv。。。等格式，超越表，支持非结构化数据以及ai 资产，插件化的架构，可以支持h 阅读全文

posted @ 2024-06-16 10:15 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

ollama gpu 集成测试qwen2 7b 模型
摘要：昨天测试了下基于ollama cpu 模式运行的qwen2 对于小参数0.5b 以及1.5b 的速度还行，但是你的cpu 核数以及内存还是需要大一些 今天测试下基于gpu 的qwen2 7b 模型，以下简单说明下 安装ollama 如果我们申请的机器包含了GPU，ollama 的安装cli 还是比较 阅读全文

posted @ 2024-06-10 08:24 荣锋亮 阅读(1230) 评论(0) 推荐(0) 编辑

ollama qwen2 运行&openai 兼容api 测试
摘要：qwen2 模型已经发布了，各种新闻都说很不错，所以通过ollama 测试下 安装ollama cli curl -fsSL https://ollama.com/install.sh | sh 启动服务 ollama serve 拉取qwen2:1.5b 模型 使用了api 模式 cli curl 阅读全文

posted @ 2024-06-10 08:24 荣锋亮 阅读(3014) 评论(5) 推荐(0) 编辑

scalene python cpu&gpu 性能分析工具
摘要：scalene 使用一个python cpu&gpu 性能分析工具，同时也支持内存的分析，同时还提供了基于ai的智能优化推荐 包含的一些特性 cli 支持多种输出格式 包含了一个web-gui 基于ai 的智能提示 参考使用 安装 pip install scalene 包含的cli usage: 阅读全文

posted @ 2024-03-07 14:47 荣锋亮 阅读(177) 评论(0) 推荐(0) 编辑

magika google 开源的基于深度学习的文件类型检测框架
摘要：magika google 开源的基于深度学习的文件类型检测框架，基于了一个keras 模型，包含了1MB的参数，而且需要的资源比较少不以来GPU 包含的特性 支持python cli 以及nodejs 使用（基于tfjs） 训练超过了25M的文件数，超过100中类型 支持递归检测 支持3中类型的预 阅读全文

posted @ 2024-02-19 09:39 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

fugue 分布式计算通用接口
摘要：fugue提供了通用方便分布式计算的接口，可以高效的访问大数据项目，提供了python，pandas，sql 等模式如下图 从上图可以看出fugue 提供了一个语义层，我们的计算任务可以运行在ray，dask，spark，以及duckdb 中 参考架构 可以看出fugue 提供了不少方便的能力，比如 阅读全文

posted @ 2023-12-23 10:16 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

face-api基于tensorflow 的人像检测npm 包
摘要：face-api基于tensorflow 的人像检测npm 包，原始项目为justadudewhohacks/face-api.js 但是因为缺少维护， 社区有人自己fork 了 一个新的vladmandic/face-api，可以更好的支持tensorflow 新版本，当然很不错还可以支持基于wa 阅读全文

posted @ 2023-11-06 10:26 荣锋亮 阅读(229) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示