2025年2月26日

通过pyinstaller 打包bottle 应用

摘要: pyinstaller 是一个很不错的python 应用打包工具,灵活简单,以下对于以前一个简单的bottle 使用pyinstaller 打包 打包命令 代码参考下边的资料 参考命令 pyinstaller --add-data "static/*:static" app.py 一些细节 因为打包 阅读全文

posted @ 2025-02-26 08:00 荣锋亮 阅读(0) 评论(0) 推荐(0) 编辑

2025年2月25日

bottle stream 模式数据返回简单示例

摘要: bottle对于支持迭代以及生成器的方法会使用类似stream 的模式返回数据,以下是一个简单的对于基于ollama 的stream 数据渲染处理示例 bottle 应用 app.py from bottle import route, run, template,static_file from 阅读全文

posted @ 2025-02-25 08:00 荣锋亮 阅读(0) 评论(0) 推荐(0) 编辑

2025年2月24日

bottle python micro 框架

摘要: bottle是一个 python micro 框架,轻量简单 包含的特性 基于函数简单,动态路由 内置模版引擎,同时还支持jinja2,mako,cheetah 等模版引擎 内置灵活的工具类,的对于表单,文件,cookies,headers 处理 server 支持,支持适配兼容的wsgi 协议 说 阅读全文

posted @ 2025-02-24 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2025年2月23日

Eel 基于python+浏览器的开发类似electron 应用

摘要: Eel 是基于基于python 可以方便开发基于浏览器的桌面应用,内部eel 可以通过@eel.expose 实现js 与python 代码的互通信 包含的特点 使用简单 支持js 与python 代码的互相调用 支持回掉以及同步处理,当然还支持python 的异步处理 提供了基于pyinstall 阅读全文

posted @ 2025-02-23 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2025年2月22日

mindsdb dbt 扩展简单说明

摘要: mindsdb 提供了dbt 的adapter 利用了dbt 自定义物化的macro 实现一些资源的创建 目前提供的能力 支持integration predictor table 参考使用 一个简单示例 {{ config( materialized='integration', engine=' 阅读全文

posted @ 2025-02-22 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月21日

通过plpython 扩展解决pg 调用c library 的问题

摘要: 属于一个简单的业务问题,需要调用一个c 库,希望用sql 去处理,使用上就比较简单,不想自己遍历数据然后再调用c 库,因为系统使用的pg ,所以想着用pg 包装c 库为一个函数 解决方法 将c 库包装为一个独立的扩展,扩展集成了c 中的方法,然后就可以使用sql 处理了 通过plpython 扩展, 阅读全文

posted @ 2025-02-21 08:04 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

mindsdb 的一些sql command

摘要: 主要是学习中的一个记录,发现mindsdb 中的一些 项目操作相关sql 创建项目&&查看&&移除 CREATE PROJECT [IF NOT EXISTS] project_name; SHOW DATABASES WHERE type = 'project'; DROP PROJECT [IF 阅读全文

posted @ 2025-02-21 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2025年2月20日

mindsdb handlers 类型简单说明

摘要: mindsdb 按照设计,对于handler 分为了两大类(官方文档的介绍),data handlers 以及ml handlers,但是实际上从github 上的介绍来说还包含一个app handlers ,以下对于几种handler 作一个简单的说明 data handlers 作为数据库与mi 阅读全文

posted @ 2025-02-20 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2025年2月19日

mindsdb permanent_storage 简单说明

摘要: mindsdb 有一个permanent_storage 的配置,目前包含了三种模式,absent 不进行持久化,local 使用本地的,s3使用对象存储 配置参考 { "permanent_storage": { "location": "local" "bucket": "s3_bucket_n 阅读全文

posted @ 2025-02-19 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2025年2月18日

omdd ollama 模型下载工具一些说明

摘要: omdd 对于使用上文档使用上部分不是特别清晰,以下简单说明下 下载元数据以及模型内容 通过omdd get 获取, 但是内容都是需要自己下载的,第一个是manifest,同时名称必须是这个 数据文件以及其他的是其余的,比如实际的blob 以及license等 manifest 以及下载的内容应该放 阅读全文

posted @ 2025-02-18 23:35 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

omdd ollama 模型下载以及安装工具

摘要: 我以前简单介绍过关于ollama 模型的离线使用,实际上目前社区有一个不错的模型下载工具(ollama-model-direct-download),可以实现模型的离线化 ollama-model-direct-download 的特性 生成直接可以进行快速下载的地址 本地化安装可用的ollama模 阅读全文

posted @ 2025-02-18 19:08 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

mindsdb 支持的一些环境变量

摘要: mindsdb 支持基于环境变量的一些参数配置,比如认证密码的,db连接的,当然也都是可以通过配置指定的 认证相关的 export MINDSDB_USERNAME='mindsdb_user' export MINDSDB_PASSWORD='mindsdb_password' 存储相关的 exp 阅读全文

posted @ 2025-02-18 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2025年2月17日

mindsdb 对于预测结果的持久化的处理

摘要: 默认上mindsdb的预测处理是基于查询join的,但是很多时候我们希望直接使用,当然官方提供了几种方法 参考方法 基于视图 CREATE VIEW review_sentiment ( -- querying for predictions SELECT input.product_name, i 阅读全文

posted @ 2025-02-17 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月16日

mindsdb 启动配置简单说明

摘要: mindsdb 启动命令包含了基于cli的默认配置,以及支持自定义配置的基于json文件的 默认启动配置 cli 参数 usage: __main__.py [-h] [--api API] [--config CONFIG] [--install-handlers INSTALL_HANDLERS 阅读全文

posted @ 2025-02-16 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2025年2月15日

mindsdb ai 数据平台

摘要: mindsdb 是基于python 开发的ai 数据平台,提供了基于sql的模型训练,微调,部署,版本控制等能力,应用的访问 上mindsdb 提供了rest api,mysq 协议,mongo协议,python 以及js sdk 等 包含的特性 接近200个集成包含了db 以及ai,ml 框架 支 阅读全文

posted @ 2025-02-15 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2025年2月14日

Daft UDF 简单说明

摘要: Daft 内部UDF 相比apply 提供了不少优化 apply 的使用 参考 df.with_column( "flattened_image", df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.pyt 阅读全文

posted @ 2025-02-14 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2025年2月13日

Daft delta lake dremio 集成一些问题

摘要: 一些问题 com.dremio.common.exceptions.UserException: Failed to read metadata for delta dataset /warehouse/myappdemo. Deltalake format version 3 is not sup 阅读全文

posted @ 2025-02-13 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2025年2月12日

Daft delta lake 集成简单试用

摘要: Daft 对于delta lake 支持本地写入以及基于catalog的,当前内部基于了delta-rs,对于catalog 的支持包含了aws glue 以及unity 以下是本地简单试用,对于基于unitycatalog的后边介绍下 简单试用 本地写入 import daft df = daft 阅读全文

posted @ 2025-02-12 08:00 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2025年2月11日

Daft nessie rest catalog + dremio 集成代码简单说明

摘要: 以前简单说明过集成玩法,以下通过代码示例简单说明下集成 nessie + dremio 部署 基于docker-compose 部署 docker-compose 一些参考可以参考我以前关于dremio 以及nessie 的一些介绍 version: "3" services: zk: image: 阅读全文

posted @ 2025-02-11 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月10日

Daft nessie rest catalog + dremio 集成

摘要: Daft 内部使用了pyiceberg 进行iceberg 的表操作,对于具体的catalog 都是pyiceberg 内部的能力,实际上我们可以直接集成nessie, 目前pyiceberg 对于rest catalog 支持的比较好,同时nessie 也支持rest catalog 了,以下是一 阅读全文

posted @ 2025-02-10 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月9日

Daft 集成ray 测试

摘要: 通过集成ray 可以让Daft 实现分布式调度能力,以下是一个简单测试, ray 使用了本地模式 集成ray 测试 代码 是一个访问iceberg的示例代码 import daft import daft.context import ray ray.init() from pyiceberg.ca 阅读全文

posted @ 2025-02-09 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2025年2月8日

pygetwindow 跨平台获取window 窗口包

摘要: pygetwindow 是一个跨平台的获取系统窗口的包,可以获取当前激活的窗口,以及或有打开窗口的标题 参考使用 安装 pip install pygetwindow 备注: 对于mac 系统需要安装pyobjc-framework-Quartz 这个包,方便集成Quartz 简单使用 注意mac 阅读全文

posted @ 2025-02-08 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2025年2月7日

Daft 集成iceberg 测试

摘要: Daft 就用pyiceberg 提供了对于iceberg 的集成,以下是一个简单测试 准备iceberg 表 直接基于了本地数据存储 参考代码 import daft from pyiceberg.catalog.sql import SqlCatalog as ISqlCatalog impor 阅读全文

posted @ 2025-02-07 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2025年2月6日

PyTables 基于hdf5 以及numpy 分层数据集包

摘要: PyTables 基于hdf5 以及numpy 分层数据集包,pandas 内部对于hdf5格式的处理就是基于了此包 包含的特性 支持表实体操作 多维以及表单元嵌入支持 表列支持索引操作 支持基于numpy 的数字数组 可扩展数组 可变长度数组 支持层级结构数据模型 用户定义元数据 支持读以及修改通 阅读全文

posted @ 2025-02-06 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月5日

PyTables 提供的一些工具

摘要: PyTables 提供了一些工具,可以方便查看以及分析生成的文件,以下是一个简单说明 ptdump 提供了查看数据以及元数据信息 命令 usage: ptdump [-h] [-v] [-d] [-a] [-s] [-c] [-i] [-R RANGE] filename[:nodepath] Th 阅读全文

posted @ 2025-02-05 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2025年2月4日

hdf5 存储格式

摘要: hdf5是一种用于存储和管理大规模数据集的文件格式,广泛应用在数据科学中,pandas 等一些dataframe 框架提供了直接读写处理 包含的特点 层次化结构: HDF 文件可以组织成类似文件系统的层次结构,包含“组”和“数据集”。 组相当于文件夹,数据集相当于文件。 跨平台支持: HDF 文件在 阅读全文

posted @ 2025-02-04 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

2025年2月3日

Daft sql查询数据库处理简单说明

摘要: 此sql 不是Daft 对于dataframe 的sql 查询处理,而是对于database 数据源的查询处理,以下是一些简单数名 简单说明 支持20+ 数据库方言,基于了sqlGlot,当然处理部分有基于connector-x的以及sqlalchemy的,默认使用connector-x 对于不支持 阅读全文

posted @ 2025-02-03 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2025年2月2日

Daft io配置简单说明

摘要: 很多时候我们希望取访问外部存储,但是外部存储是需要一些配置信息的,比如s3,Daft 对于配置的处理有两种模式,全局以及特定数据处理任务,以下简单说明下 全局模式 通过设置Daft 的计划信息,提供默认io 配置 参考配置 之后后续的处理就不要进行而外的io 访问配置了,比如适合有统一的io 配置信 阅读全文

posted @ 2025-02-02 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年2月1日

ollama deepseek 流式web 集成think 标签处理简单示例

摘要: ollama openai 兼容api 的流式输出可以提升用户体验,当前deepseek 比较火,以下是对于deepseek think 部分部分的简单说明 处理机制 因为输出是markdown格式的,我们主要将think 部分解析到,同时进行标签的处理(比如替换为div 的同时添加class 属性 阅读全文

posted @ 2025-02-01 17:48 荣锋亮 阅读(1688) 评论(0) 推荐(0) 编辑

Daft s3 集成试用

摘要: daft 支持不少存储数据的访问,以下是关于s3的一个简单试用 环境准备 docker-compose services: minio: image: minio/minio command: server /data --console-address ":9001" ports: - 9000: 阅读全文

posted @ 2025-02-01 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2025年1月31日

python atexit 模块提供的一些功能

摘要: python 的atexit 提供了一些钩子,可以在python 正常退出的时候可以执行一些方法 参考使用 注册钩子函数 import atexit atexit.register(lambda: print('exit')) def main(): print('main') if __name_ 阅读全文

posted @ 2025-01-31 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2025年1月30日

eclipse uprotocol汽车应用以及服务连接框架

摘要: eclipse uprotocol 基于了cloud events 以及protobuf 定义了通用的协议处理 包含的特性 多样的消息交换模式支持,包含了rpc,发布订阅,通知 跨语言支持,当前支持java,rust,c++,python 跨平台,支持linux,android,qnx 等 灵活,支 阅读全文

posted @ 2025-01-30 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2025年1月29日

yomo 支持geo ai 基础设施的状态化serverless 框架

摘要: yomo 支持geo ai 基础设施的状态化serverless 框架 包含的特性 llm 函数调用 低延迟(基于quic 协议) geo 分布 自托管 webassembly 集成,通过go,rust,c,编译为wasm 运行 安全,数据包通过tls v1.3 加密 说明 webassembly 阅读全文

posted @ 2025-01-29 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2025年1月28日

netron 方便的模型结构可视化工具

摘要: netron可以方便的对于神经网络,深度学习以及机器学习的模型进行可视化,使用简单 说明 netron 支持各类模型,对于希望了解模型结构参数的netron是一个很不错的可视化工具 参考资料 https://netron.app/ https://github.com/lutzroeder/netr 阅读全文

posted @ 2025-01-28 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

2025年1月27日

pynput python 实现控制以及监听鼠标以及键盘的包

摘要: pynput 属于一个python 进行控制设备的包,目前主要提供了鼠标以及键盘控制能力,使用上都比较简单 说明 对于需要进行按键以及鼠标控制的,基于pynput是一个不错的选择,使用简单,支持多平台 参考资料 https://github.com/moses-palmer/pynput https 阅读全文

posted @ 2025-01-27 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2025年1月26日

memoripy 大模型上下文记忆包

摘要: memoripy 大模型上下文记忆包,兼容openai 以及ollama api,包括上下文记忆检索、记忆衰减和强化、层次聚类和基于图的关联 支持的特性 长短记忆支持 上下文检索 使用openai 或者ollama 模型的概念提取以及嵌入 基于图的关联 层次聚类,支持聚类相似语义组 衰减以及增强,支 阅读全文

posted @ 2025-01-26 08:01 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

2025年1月25日

optillm openai api 兼容的推理proxy 服务

摘要: optillm openai api 兼容的推理proxy 服务,内部使用了不少技术,同时也支持插件化的扩展 内部参考处理 说明 optillm 内部支持基于litellm 的llm 服务,同时使用了不少llm的优化技巧,值得研究下,同时对于不支持openai api 的大模型,我们可以通过lite 阅读全文

posted @ 2025-01-25 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2025年1月24日

dora简单试用

摘要: dora 包含服务进程可以自己安装,之后通过yaml 定义进行快速开发,以下是一个简单试用 安装dora 服务 可以直接使用cli,或者github 下载自己安装 curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.c 阅读全文

posted @ 2025-01-24 08:55 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2025年1月23日

pybind11 setuptools 集成试用

摘要: pybind11 支持基于setuptools的构建,以下是一个简单试用 项目代码 结构 ├── README.md ├── mydemo │ ├── __init__.py │ └── demo.py ├── setup.py └── src └── example.cpp 代码说明 src/ex 阅读全文

posted @ 2025-01-23 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2025年1月22日

pybind11 native python 模块简单试用

摘要: pybind11 是一个很不错的python c++ 互交互以及原生模块开发框架,可以快速服用c 以及c++ 周边的工具包对于python能力进行扩展 以下是一个简单使用,内容来自官方文档,主要是体验下 环境准备 我基于linux 构建,原生python 版本比较低,使用了miniconda 安装新 阅读全文

posted @ 2025-01-22 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示