随笔分类 -  machine learning && LLM

1 2 3 4 5 ··· 7 下一页

机器学习&&LLM
mindsdb dbt 扩展简单说明
摘要:mindsdb 提供了dbt 的adapter 利用了dbt 自定义物化的macro 实现一些资源的创建 目前提供的能力 支持integration predictor table 参考使用 一个简单示例 {{ config( materialized='integration', engine=' 阅读全文

posted @ 2025-02-22 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

mindsdb 的一些sql command
摘要:主要是学习中的一个记录,发现mindsdb 中的一些 项目操作相关sql 创建项目&&查看&&移除 CREATE PROJECT [IF NOT EXISTS] project_name; SHOW DATABASES WHERE type = 'project'; DROP PROJECT [IF 阅读全文

posted @ 2025-02-21 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

mindsdb handlers 类型简单说明
摘要:mindsdb 按照设计,对于handler 分为了两大类(官方文档的介绍),data handlers 以及ml handlers,但是实际上从github 上的介绍来说还包含一个app handlers ,以下对于几种handler 作一个简单的说明 data handlers 作为数据库与mi 阅读全文

posted @ 2025-02-20 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

mindsdb permanent_storage 简单说明
摘要:mindsdb 有一个permanent_storage 的配置,目前包含了三种模式,absent 不进行持久化,local 使用本地的,s3使用对象存储 配置参考 { "permanent_storage": { "location": "local" "bucket": "s3_bucket_n 阅读全文

posted @ 2025-02-19 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

omdd ollama 模型下载工具一些说明
摘要:omdd 对于使用上文档使用上部分不是特别清晰,以下简单说明下 下载元数据以及模型内容 通过omdd get 获取, 但是内容都是需要自己下载的,第一个是manifest,同时名称必须是这个 数据文件以及其他的是其余的,比如实际的blob 以及license等 manifest 以及下载的内容应该放 阅读全文

posted @ 2025-02-18 23:35 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

omdd ollama 模型下载以及安装工具
摘要:我以前简单介绍过关于ollama 模型的离线使用,实际上目前社区有一个不错的模型下载工具(ollama-model-direct-download),可以实现模型的离线化 ollama-model-direct-download 的特性 生成直接可以进行快速下载的地址 本地化安装可用的ollama模 阅读全文

posted @ 2025-02-18 19:08 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

mindsdb 支持的一些环境变量
摘要:mindsdb 支持基于环境变量的一些参数配置,比如认证密码的,db连接的,当然也都是可以通过配置指定的 认证相关的 export MINDSDB_USERNAME='mindsdb_user' export MINDSDB_PASSWORD='mindsdb_password' 存储相关的 exp 阅读全文

posted @ 2025-02-18 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

mindsdb 启动配置简单说明
摘要:mindsdb 启动命令包含了基于cli的默认配置,以及支持自定义配置的基于json文件的 默认启动配置 cli 参数 usage: __main__.py [-h] [--api API] [--config CONFIG] [--install-handlers INSTALL_HANDLERS 阅读全文

posted @ 2025-02-16 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

mindsdb ai 数据平台
摘要:mindsdb 是基于python 开发的ai 数据平台,提供了基于sql的模型训练,微调,部署,版本控制等能力,应用的访问 上mindsdb 提供了rest api,mysq 协议,mongo协议,python 以及js sdk 等 包含的特性 接近200个集成包含了db 以及ai,ml 框架 支 阅读全文

posted @ 2025-02-15 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

Daft UDF 简单说明
摘要:Daft 内部UDF 相比apply 提供了不少优化 apply 的使用 参考 df.with_column( "flattened_image", df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.pyt 阅读全文

posted @ 2025-02-14 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

hdf5 存储格式
摘要:hdf5是一种用于存储和管理大规模数据集的文件格式,广泛应用在数据科学中,pandas 等一些dataframe 框架提供了直接读写处理 包含的特点 层次化结构: HDF 文件可以组织成类似文件系统的层次结构,包含“组”和“数据集”。 组相当于文件夹,数据集相当于文件。 跨平台支持: HDF 文件在 阅读全文

posted @ 2025-02-04 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

ollama deepseek 流式web 集成think 标签处理简单示例
摘要:ollama openai 兼容api 的流式输出可以提升用户体验,当前deepseek 比较火,以下是对于deepseek think 部分部分的简单说明 处理机制 因为输出是markdown格式的,我们主要将think 部分解析到,同时进行标签的处理(比如替换为div 的同时添加class 属性 阅读全文

posted @ 2025-02-01 17:48 荣锋亮 阅读(1688) 评论(0) 推荐(0) 编辑

eclipse uprotocol汽车应用以及服务连接框架
摘要:eclipse uprotocol 基于了cloud events 以及protobuf 定义了通用的协议处理 包含的特性 多样的消息交换模式支持,包含了rpc,发布订阅,通知 跨语言支持,当前支持java,rust,c++,python 跨平台,支持linux,android,qnx 等 灵活,支 阅读全文

posted @ 2025-01-30 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

yomo 支持geo ai 基础设施的状态化serverless 框架
摘要:yomo 支持geo ai 基础设施的状态化serverless 框架 包含的特性 llm 函数调用 低延迟(基于quic 协议) geo 分布 自托管 webassembly 集成,通过go,rust,c,编译为wasm 运行 安全,数据包通过tls v1.3 加密 说明 webassembly 阅读全文

posted @ 2025-01-29 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

netron 方便的模型结构可视化工具
摘要:netron可以方便的对于神经网络,深度学习以及机器学习的模型进行可视化,使用简单 说明 netron 支持各类模型,对于希望了解模型结构参数的netron是一个很不错的可视化工具 参考资料 https://netron.app/ https://github.com/lutzroeder/netr 阅读全文

posted @ 2025-01-28 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

memoripy 大模型上下文记忆包
摘要:memoripy 大模型上下文记忆包,兼容openai 以及ollama api,包括上下文记忆检索、记忆衰减和强化、层次聚类和基于图的关联 支持的特性 长短记忆支持 上下文检索 使用openai 或者ollama 模型的概念提取以及嵌入 基于图的关联 层次聚类,支持聚类相似语义组 衰减以及增强,支 阅读全文

posted @ 2025-01-26 08:01 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

optillm openai api 兼容的推理proxy 服务
摘要:optillm openai api 兼容的推理proxy 服务,内部使用了不少技术,同时也支持插件化的扩展 内部参考处理 说明 optillm 内部支持基于litellm 的llm 服务,同时使用了不少llm的优化技巧,值得研究下,同时对于不支持openai api 的大模型,我们可以通过lite 阅读全文

posted @ 2025-01-25 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

chainlit 2.0 发布了
摘要:chainlit 2.0 就在最近已经发布了,支持了不少新特性,比如一些ui 的重写,减少代码量,同时添加了对于sqlite 的支持,还有不少bug 的修复 说明 后边有空了尝试下新功能以及新版本,尤其是对于sqlite 的支持,可以简化我们对于数据持久化配置的使用(以前必须依赖pg 数据库,对于小 阅读全文

posted @ 2025-01-14 09:29 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

opencv python pip mac 安装一个问题
摘要:opencv 对于不同平台实际已经提供了abi3 兼容的whl 文件,我们可以直接下载快速安装,而不是pip 安装的时候进行构建会特别慢 但是对于mac 版本有一些问题 问题说明 现有whl的格式opencv_python-4.10.0.84-cp37-abi3-macosx_12_0_x86_64 阅读全文

posted @ 2025-01-03 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

ollama 0.5.0 发布内置结构化输出了
摘要:就在前几天ollama 发布了0.5.0了内置支持结构化输出了,同时ollama python 以及js 库已经支持此特性了,很值得使用 说明 同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮 阅读(159) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 7 下一页

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示