随笔分类 -  云运维&&云架构

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 190 下一页

anyio 高级异步并发网络库
摘要：anyio 是一个异步网络以及并发库，可以与asyncio 以及trio 工作，实现了类似trio 的sc 模式 包含的特性 任务组能力 高级tcp/udp，以及unix 套接字支持 多种字节流以及对象流api 支持 内部任务同步以及通信支持（锁、条件、事件、信号量、对象流） 工作者线程支持 子进程 阅读全文

posted @ 2024-11-06 08:00 荣锋亮 阅读(144) 评论(0) 推荐(0) 编辑

pg_ivm pg 增量物化视图扩展
摘要：pg_ivm 是一个强大的pg 增量物化视图扩展，可以实现物化数据的自动更新（创建物化之后会创建一些触发器实现自动更新），当然也包含了函数可以支持手工更新 说明 pg_ivm 很强大，很方便，但是依然有一些限制，比如基表必须是简单表，不能使用视图，继承父表，分区表，分区以及外部表 视图定义查询中不能 阅读全文

posted @ 2024-11-05 08:00 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

HAProxy Data Plane API 3.0 发布
摘要：就在最近haproxy data plane api 3.0 发布了，相对以前有不少变动，官方发布了release note 很值得看看 说明 对于基于haproxy 进行业务负载均衡以及动态配置管理的haproxy data plane api 是一个很不错的选择，对于早期版本的一些使用我有简单介 阅读全文

posted @ 2024-11-04 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

ossfs 禁用cache配置说明
摘要：ossfs 基于oss sdk 实现了与oss fs类似的能了，但是默认是有cache 的，尤其我们的long running 任务可能会影响，造成获取的数据是不是最新的，解决方法就是直接禁用cache 参考处理 # 通过临时调整cache有效期解决from ossfs import OSSFile 阅读全文

posted @ 2024-11-03 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

paradedb 基于pg 的搜索以及分析方案
摘要：paradedb 是一个替换es 的可选方案 包含的能力 搜索，支持基于BM25（基于pg_search） 的全文检索，以及pgvector 的向量处理，以及混合搜索 分析，基于pg_analytics 的分析查询引擎 支持自托管模式部署 支持特殊工作负载场景，postgis，pg_cron, pg 阅读全文

posted @ 2024-11-02 08:00 荣锋亮 阅读(139) 评论(0) 推荐(0) 编辑

rq job timeout 配置简单说明
摘要：默认rq 是180s 的超时处理，但是我们可以自己调整，注意官方有好几个参数，timeout 以及job_timeout 应该使用job_timeout 参考配置 job 级别的 q.enqueue(mytask, args=(foo,), kwargs={'bar': qux}, job_time 阅读全文

posted @ 2024-11-01 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

tldraw 创建基于web 白板的sdk 框架
摘要：tldraw 创建基于web 白板的sdk 框架 包含的特性 react canvas 高性能 实时协作 媒体支持 灵活的自定义 说明 tldraw 从3.0 开始调整累了许可模式，以前是商业使用需要有license，现在是可以直接使用了，但是会保留水印，对于开发白板应用的tldraw 是一个很值得 阅读全文

posted @ 2024-10-31 08:00 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

rill 基于duckdb 的快速bi 工具
摘要：rill 是基于duckdb 的快速bi 工具 参考架构 包含了提取，加载，查询，过滤，包含了etl，内存存储，以及操作型bi 说明 rill server 基于golang 开发，web 上使用了Sveltekit，rill 设计上很值得学习参考，抽象了不少自己的yaml schema 灵活性上很 阅读全文

posted @ 2024-10-30 08:00 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

cloudpathlib 简单试用
摘要：通过minio 作为s3 存储进行测试 s3 准备 docker-compose version: "3" services: s3: image: minio/minio:latest ports: - 9000:9000 - 9001:9001 command: server /data --c 阅读全文

posted @ 2024-10-29 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

cloudpathlib 面向云存储的python pathlib 风格的数据处理
摘要：cloudpathlib 是模仿了python pathlib 接口格式的python 库，可以用来方便的进行云存储的数据处理 包含的特性 与path 方式类似的访问 支持s3，gcs，azure ，ftp 也在开发中 可扩展 读写支持 无缝的cache 支持，可以按需进行cache 的处理 方便测 阅读全文

posted @ 2024-10-28 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

stamina 生产级的python 重试包
摘要：stamina 是基于tenacity的包装 包含的特性 仅对某些异常（甚至是其中的子集）进行重试，方法是先使用谓词进行自检 重试之间带有抖动的指数退避 限制重试次数和总时间 自动异步支持-包括Trio 保留所装饰的可调用函数的类型提示 开箱即用，可灵活使用Prometheus、structlog和 阅读全文

posted @ 2024-10-27 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dremio 25.2 软件包以及github 源码更新了
摘要：昨天我说了dremio 发布了25.2 提供了新的catalog 支持，之后过了一段时间dremio同时也提供了软件包以及github 源码的更新 说明 25.1 版本构建关于dremio-js 的 私服问题在这次代码中也看到解决了，新功能代码可以看看 参考资料 https://github.com 阅读全文

posted @ 2024-10-26 08:13 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

python通过__init__.py 进行模块依赖包的check
摘要：很多时候我们开发模块化项目，或者动态加载功能包的项目，对于依赖我们不希望直接在安装的时候就安装，而是按需使用 的时候进行主动安装（比如langchain 不少模块），解决方法很多，以下说明下基于__init__.py 的处理 一些参考解决方法 在调用模块方法的时候通过显示的import 模块，并通过 阅读全文

posted @ 2024-10-26 00:22 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

dremio 25.2 发布
摘要：就在昨天dremio 发布了25.2 版本，此版本对于catalog 的支持添加了两个新的（Polaris Catalog 以及Unity Catalog） 说明 其他主要是关于历史bug 的fix 对于新catalog ce 版本实际上只Polaris Catalog ，默认没开启，需要通过plu 阅读全文

posted @ 2024-10-25 23:47 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

weasyprint 基于html 的pdf 生成框架
摘要：weasyprint 基于html 的pdf 生成框架，我们可以基于css+ html 生成高质量的pdf 文件，weasyprint 使用简单 说明 weasyprint 的速度并不是很快，如果希望快速生成pdf文件的，可以选择其他解决方案，md2pdf 就使用了WeasyPrint只是为了支持灵 阅读全文

posted @ 2024-10-25 08:00 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑

通过rye 进行maturin rust python 扩展开发
摘要：rye 实际上也是一个python 包管理工具，实际上与uv 是比较类似的工具，都是同一个团队开发的，但是uv 相对晚一些出现的 rye 可以进行maturin 项目的开发，maturin 实际上也提供了内置的cli 可以快速开发 maturin 项目初始化 命令 rye init my-proje 阅读全文

posted @ 2024-10-24 08:00 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

uv python 版本管理
摘要：最近版本的uv 也支持对于python 版本的管理（下载安装，支持cpython 以及pypy） 安装python 参考命令 uv python install 3.12.3 查看列表 uv python list 查找python 执行程序 uv python find # 默认是基于path的， 阅读全文

posted @ 2024-10-23 08:00 荣锋亮 阅读(789) 评论(0) 推荐(0) 编辑

基于uv 进行类似cargo 的workspace 管理
摘要：uv 支持类似cargo workspace模式的项目管理，可以实现多模块的开发机制，以下是一个简单学习 准备 uv 对于workspac 的支持，使用上类似rust cargo 项目结构 ├── README.md ├── packages │ ├── api │ │ ├── README.md 阅读全文

posted @ 2024-10-22 08:00 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

uv 基于rust 编写的python 包管理以及项目管理工具
摘要：uv 基于rust 编写的python 包管理以及项目管理工具 包含的特性 简单工具可以替换pip，pip-tools，pipx，poetry，pyenv 等 比pip 快10-100 倍 安装以及管理python 版本 运行以及安装python 应用 运行脚本 支持类似cargo 模式的works 阅读全文

posted @ 2024-10-21 08:00 荣锋亮 阅读(118) 评论(0) 推荐(0) 编辑

基于prompt-poet进行了灵活的提示词模版管理
摘要：以前简单介绍过prompt-poet的使用，同时也进行了一些扩展（比如支持s3，oss，等加载的loader 集成） 实际上使用好prompt-poet 可以简化不少我们的提示词管理能力，实现灵活的个性化提示词能力，以下是一个简单的 使用说明 参考结构管理 prompt-poet 默认支持加载本地文 阅读全文

posted @ 2024-10-20 08:00 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 190 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示