rongfengliang-荣锋亮

摘要：schemacrawler 是基于java 开发的免费开源的数据库schema 发现以及理解工具 schemacrawler 包含的几个周边 cli 提供了cli 我们可以方便的处理不同数据库的处理，同时支持输出为html，json，yaml java api 通过java api 可以方便的通过p 阅读全文

摘要：一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用 python代码模式 appv4.py 此模式litellm 会自己进行 from l 阅读全文

摘要：litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）同时也 阅读全文

摘要：很多时候我们是需要对于LLM 生成的内容进行结构化输出的，比如我们希望利用LLM的能力，对于用户发布的内容进行情感分析，或者对于文档内容提取关键信息并转换为结构化的内容，instructor 是一个很不错的选择（支持多种语言的），以下演示下基于python 的 参考使用 大模型部署 为了方便使用了基 阅读全文

摘要：ollama 模型运行之后会生成ssh key ，我们首先需要在https://ollama.com/ 进行注册账户，然后添加自己的key，之后才能进行push key 的位置 默认一般会有一个~/.ollama/id_ed25519.pub，但是也可能会没有（比如调整了配置）还有一个是在/usr/ 阅读全文

摘要：openbuddy 对于 llama3.1 8b 模型进行了少量的中文训练实现了不错的中文理解处理，以下是使用社区提供的gguf 格式，制作一个ollama 新模型 模型制作 下载模型 下载gguf 文件，推荐使用加速工具 Modelfile 参考了llama3.1 的 FROM /home/mod 阅读全文

摘要：python-rq 是一个类似celery 的python 任务调度框架基于了redis 部署 需要包含worker 以及具体的任务执行，或者调度任务尺触发, 同时注意因为依赖redis 应该先启动redis 启动worker rq worker --with-scheduler 任务开发 注意任务 阅读全文

摘要：对于 fastapi apscheduler 集成以及支持动态添加任务的简单说明 参考使用 依赖 包含了fastapi，apscheduler sqlalchemy uvicorn pip install fastapi apscheduler sqlalchemy uvicorn 代码简单说明 代 阅读全文

摘要：constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用 准备conda 环境 命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

摘要：dbt indexes 索引配置的目的是提升系统性能，为了方便维护dbt 提供了默认空实现，对于不同db 会有不同的实现，以下简单说明下 内部macro 定义 可以看到基本实现都为空，由具体的db adapter 实现 {% macro get_create_index_sql(relation, 阅读全文

摘要：就在今天ollama 0.2.8 发布了，提供了新的模型mistral-nemo 以及nuextract 的支持，mistral-nemo 是一个新发布的模型，很值得体验下 参考资料 https://ollama.com/library/mistral-nemohttps://ollama.com/ 阅读全文

摘要：就在最近，dbt 发布了1.8.0 版本，核心比较重要的功能是提供了单元测试的能力，同时是官方文档也进行了调整（以前是可以看到，但是是实际是不能使用的），完整的changelogs 可以查看github 信息 参考资料 https://docs.getdbt.com/reference/resour 阅读全文

摘要：关于自定义schema 以前简单说明过，实际上dbt 支持了好几个预留的macro，可以方便进行自定义，比如schema，database，aliases，target dbt dremio adapter 的几个自定义macro 实际上就是上边说的，schemas，aliases，database 阅读全文

摘要：以前是简单说明过解决方法，以下通过实际代码，说明下解决 dbt dremio 集成nessie 内部处理简单说明 注意目前说明的场景是基于nessie 作为数据库配置的，而不是dbt 标准的space 玩法 整体处理 如下图，实际上和业务模型的定义有关系，包含了view，以及table，当然还有属于 阅读全文

摘要：属于社区有人的一个提问，实际上dremio 支持对于nessie source 特定branch 的 table 的创建，而且源码也有信息，只是官方文档缺少说明 branch创建表参考测试 一个简单sql CREATE table dbtv4.myappv5 AT BRANCH prod as se 阅读全文

摘要：就在最新的ollama 发布版本中对于类似openai 的函数调用支持了，但是目前有一些问题，就是相关历史的model 都需要修改下（添加TEMPLATE 对于tools的支持），一些是一个简单的测试 参考示例 使用了phidata 这个工具包 一个参考qwen2:7b 模型的修改 参考了llama 阅读全文

摘要：主要是一个简单测试 安装vllm pip 模式安装 部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

摘要：ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接 进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量） 下载的模型数据 模型数据结构 通过直接复制加载的模型 参考服务配置 systemd 服 阅读全文

摘要：对于需要进行youtube 数据处理的，有几个不错的工具包，可以选择youtube-transcript-api 核心是处理字幕的，可以提供不少参数pytube 支持下载视频，字幕，缩略图。。。yt-dlp 属于一个cli 以及python 包包含的功能比较完备，支持不少视频数据的处理 参考资料 h 阅读全文

摘要：ollama 提供了不少配置可以方便我们进行ollama 服务的调整，比如访问端口（默认127.0.0.1）,模型内存管理。。。 以下简单说明下访问以及模型内存管理的 完整配置信息 可以通过golang 代码查看，主要定义在envconfig/config.go 中 默认配置 func AsMap( 阅读全文

摘要：通过python 模式包体验下chdb 参考使用 安装依赖 pip install chdb 简单代码 from chdb.session import Session db = Session('./db') db.query("CREATE DATABASE if not exists db") 阅读全文

摘要：Crunchy 最近发布了一个Crunchy Bridge 的服务，通过duckdb 扩展了pg 对于数据分析的能力，官方发布的内容值得学习下 参考玩法 说明 实际上目前社区也有一个pg 的duckdb_fdw ，也值得体验下，Crunchy Bridge 不是一个fdw 扩展，反而是使用了类似ci 阅读全文

摘要：就在今天ollama 0.2.3 发布了，主要修复了关于系统prompt 不能生效的问题，而且通过测试glm4 的兼容也比较好了，以前版本对于结构化输出是有一些问题的 参考资料 https://github.com/ollama/ollama/releases 阅读全文

摘要：chdb 是基于clickhouse 的进程olap 引擎 包含的特性 基于clickhouse 的进程内的sql olap 引擎 serverless，不需要安装clickhouse 服务 通过python memoryview 的最小c++ python 数据拷贝 输入以及输出支持parquet 阅读全文

摘要：就在今天dremio 提供了25.0.5 社区版的下载地址，但是目前docker 镜像暂时还没提供，以下是基于eclipse-temurin:11.0.23_9-jdk 基础镜像 的一个可用镜像 Dockerfile FROM eclipse-temurin:11.0.23_9-jdk LABEL 阅读全文

摘要：就在今天ollama 0.2.2 解决了不少问题，比如nvida v100 gpu 问题，同时修复了一些关于特定模型以及nvida gpu oom 的问题 说明 以前在测试0.2.1 版本v100 的时候有明显的异常，造成服务不能正常工作， 通过测试0.2.2 目前是可以正常工作了 参考资料 htt 阅读全文

摘要：就在昨天dremio 提供了社区版的下载地址,此版本的变动核心是一些fix，新功能并不多 说明 目前源码暂时还没push 到github,同时docker 镜像也暂时未提供，后边体验下 参考资料 https://docs.dremio.com/current/release-notes/versio 阅读全文

摘要：polaris-catalog是snowflake 即将开源的apache iceberg catalog 服务，实现上基于了iceberg 的rest api，这样就可以实现多引擎的数据处理，而不用进行数据的移动 参考多引擎集成 说明 从机制上也是支持dremio 的，但是因为databricks 阅读全文

摘要：scrapyd 是官方出的调度服务，对于部署可以结合scrapyd-client，以下是一个简单说明 配置 scrapy 提供了一个scrapy.cfg 的配置文件，可以定义scrapyd服务地址 scrapy.cfg 参考配置 [deploy] url = http://scrapyd.examp 阅读全文

摘要：luax 目前没有提供直接的安装包，我们需要自己构建，以下说明下使用 构建&&使用 注意mac 系统构建有问题，没成功，使用的linux 构建 需要ninja 构建工具，可以通过pip 安装 git clone https://github.com/CDSoft/luax cd luax ./boo 阅读全文

摘要：就在最近ollama 0.2.0 发布了，比较重要的是支持并发处理 并发处理的特性 并行请求，同时处理多个chat 会话，同步的处理一个文档的多个部分，同时运行多个agent 多模型处理，支持RAG 场景，同时处理嵌入以及文本完成，同时运行多个agent 新模型支持 包含了GLM-4，CodeGee 阅读全文

摘要：如果查看scrapyd 内部处理以及scrapy 介绍的话，会发现有几个环境变量比较重要，scrapyd 在实际执行的时候会进行变量参数的处理 以下简单说明下 环境变量 SCRAPY_SETTINGS_MODULE 配置相关的,对于scrapy 框架是基于配置文件的 def init_env(pro 阅读全文

摘要：以前简单说明了下scrapyd_client deploy 的处理，现在说明下scrapyd 运行egg 的内部处理 内部处理 激活egg 模块 scrapyd 包装了自己的方法，对于激活的会添加的执行环境中 def activate_egg(eggpath): """Activate a Scra 阅读全文

摘要：scrapyd_client deploy 提供了对于开发的spider 的打包，同时push 到scrapyd server 中，因为python 的特殊性，我们开发的spider 可能有依赖，scrapyd_client 会结合实际命令打包应用为是否包含依赖的egg 包 egg 包处理 对于eg 阅读全文

摘要：serverpod 按照官方的介绍是基于dart 的flutter 下一代app 以及web server 开发框架 包含的能力 代码生成 可以辅助通过分析server 端代码生成客户端代码，这样调用就比较方便了trpc 就干了这类的事情 世界一流的日志处理 内置cache 内置cache 可以减少 阅读全文

摘要：以前简单说明过scrapy 集成s3 feed exports 的配置，以下是集成browserless 的处理，通过browserless 进行数据内容的处理（尤其适合包含了基于ajax的请求，以及延迟加载的项目） 项目准备 主要是s3以及browserless docker-compose ve 阅读全文

摘要：数据爬虫的玩法很多，框架也不少，对于实际开发我们会面临不少问题，比如存储，分析，数据使用，爬虫站点的分析处理，动态proxy 池以下是一个简单的集成 参考架构 基于自定义爬虫开发的 自己开发爬虫任务，基于调度对于任务基于容器运行，对于部分web 数据的爬取处理可以使用browserless ，数据存 阅读全文

摘要：scrapy 对于解析的item 可以直接配置后端存储，可以直接配置不同的格式写入数据到存储中，以下是关于minio的简单说明 配置 核心是feed 以及backend 配置 feed 配置 settings.py # feed 配置 FEED_EXPORT_ENCODING = "utf-8" F 阅读全文

摘要：以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

摘要：browserless提供了hooks 能力，默认实现都为空，以下简单说明下内部处理 默认实现 如下图 内部处理 hooks.ts 定义 import { AfterResponse, BeforeRequest, BrowserHook, PageHook, } from '@browserles 阅读全文