摘要：kedro 的parameters还是比较强大的，我们直接可以基于配置，或者运行时定义就可以方便的使用配置参数，以下是使用的简单说明 定义parameters 一般是在conf/base/parameters.yml 中，当然也可以配置特定pipeline 的parameters 参考 name: 阅读全文

摘要：metaflow netflix开源的数据科学ML&AI 框架，类似的也有kedro,metaflow 相比kedro 来说对于云原生周边支持的更加友好 一张图了解metaflow 能力 如下图，很清晰的说明了metaflow 的能力，而且都是基于代码声明的 说明 metaflow 官方文档比较详细 阅读全文

摘要：kedro data catalog 支持version 化，这样可以方便的使用特定时间的多数据，以下是对于version 的简单说明 参考使用 pikachu: type: kedro_pokemon.datasets.image_dataset.ImageDataset filepath: da 阅读全文

摘要：内容来自官方文档，主要是一个记录，方便学习使用，通过此图我们可以快速的了解kedro的开发机制以及内部运行，有助于阅读源码对于kedro进行扩展 参考图 说明 上图中包含了kedro project 说明了对于pipeline 开发者的代码结构以及开发流程（一般我们基于标准模版开发就可以了），ked 阅读全文

摘要：kedro package 是一个比较方便的能力，可以将我们开发的data pipeline 打包为python 包，方便分发以及使用，以下简单说明下内部实现 参考内部处理 代码 可以看到内部并没有特殊的地方，对于标准python whl 文件基于了build 模块进行构建，对于配置部分使用了tar 阅读全文

摘要：主要是一个简单学习试用 环境准备 安装kedro python -m venv venv source venv/bin/activate pip install kedro minio s3 存储 为了方便测试使用了s3 进行数据存储,注意需要同时安装 version: "3" services: 阅读全文

摘要：就在今天qwen2.5 发布了，同时集成ollama 相关的镜像官方也提供了，对于函数调用的模版也支持已经修改了 参考Modilefile 参考新的配置参数 {{ if .Messages }} {{- if .Tools }}<|im_start|>system {{- if .System }} 阅读全文

摘要：kedro 创建模块化数据科学pipeline 的python 框架 包含的特性 pipeline 可视化，基于了kedro-viz data catalog 轻量级的data connenctors 可以方便数据的读取以及保存，扩展上也比较强大 周边集成，可以方便的与apache airflow， 阅读全文

摘要：chainlit 兼容扩展点不是很多，但是灵活性还是很不错的，比如我们可以自己基于session 实现一些数据在不同阶段的共享，当然chainlit也内置了一些 变量，可以方便使用 内置的变量 信息 user_session = user_sessions[context.session.id] # 阅读全文

摘要：fastapi-events fastapi 异步事件分发处理扩展，提供了本地，以及远程消息处理能力，同时包含了一些内置的handler，对于自定义handler 也是比较灵活的 参考使用 app.py from fastapi import FastAPI from fastapi.request 阅读全文

摘要：faststream 包含了TestBroker可以方便的进行测试，比如与pytest 集成 参考使用 app_test.py import pytest from faststream.redis import TestRedisBroker,RedisBroker broker = RedisB 阅读全文

摘要：faststream 目前自己包含了一个asgi 的实现，可以快速实现api 能力，同时也可以与其他web 框架集成，以下是一个简单试用 参考代码 demo.py from faststream.redis import RedisBroker from faststream.asgi import 阅读全文

摘要：faststream python 快速event 处理框架，asyncapi 文档生成 包含的特性 多broker 支持 基于pydantic 的数据校验 async api 文档生成 依赖注入支持 强大的扩展能力 不少框架的集成支持（fastapi web 框架） 支持自动代码生成 参考使用 基 阅读全文

摘要：pandas-ai 基于LLM进行数据分析的python 框架 包含的特性 基于自然语言的数据查询 数据可视化 数据清理 特征生成 数据链接（支持链接多种不同的数据源） 说明 对于基于数据分析的场景pandas-ai 是一个值得尝试的工具，同时官方也微调了一个BambooLLM 的模型（基于mist 阅读全文

摘要：PraisonAI 一个快速ai 开发集成工具，在新版本中PraisonAI 基于unsloth 提供了快速大模型微调训练能力 训练参考使用 核心是包装的unsloth 命令 praisonai train --model unsloth/Meta-Llama-3.1-8B-Instruct-bnb 阅读全文

摘要：实际上此问题在github 上已经存在了，解决方法很简单，就是对于sql 配置的去掉不能为空的判定 参考sql 修改 CREATE TABLE IF NOT EXISTS steps ( "id" UUID PRIMARY KEY, "name" TEXT NOT NULL, "type" TEXT 阅读全文

摘要：chainlit s3 默认对于minio 的支持没有明确说明，但是我们可以通过配置解决（环境变量以及~/.aws/config 都可以） 使用 代码配置 import chainlit as cl import chainlit.data as cl_data from chainlit.data 阅读全文

摘要：litellm proxy ui 关于static 的处理是基于了fastapi 的StaticFiles，使用了绝对路径配置的，以下是一个简单说明 参考代码 litellm/proxy/proxy_server.py current_dir = os.path.dirname(os.path.ab 阅读全文

摘要：日常开发中对于静态资源的处理方法很多，但是如果静态资源也可以像包一样集成发布就会比较方便对于我们实际软件部署就会比较方便 以下是关于fastapi 通过package 提供静态资源 参考代码 安装 静态资源我们使用了bootstrap4，基于这个包提供 app.py from fastapi imp 阅读全文

摘要：trafilatura python web 数据获取库，比较适合进行爬虫，数据提取，支持输出数据为csv，json，html，md，txt，xml 包含的特性 高级web 爬虫以及文本发现 并行处理在线以及离线输入内容 灵活的配置支持，包含了元数据，格式，链接，表格 多输出格式，包含了文本，mar 阅读全文