摘要：关于自定义schema 以前简单说明过，实际上dbt 支持了好几个预留的macro，可以方便进行自定义，比如schema，database，aliases，target dbt dremio adapter 的几个自定义macro 实际上就是上边说的，schemas，aliases，database 阅读全文

摘要：以前是简单说明过解决方法，以下通过实际代码，说明下解决 dbt dremio 集成nessie 内部处理简单说明 注意目前说明的场景是基于nessie 作为数据库配置的，而不是dbt 标准的space 玩法 整体处理 如下图，实际上和业务模型的定义有关系，包含了view，以及table，当然还有属于 阅读全文

摘要：属于社区有人的一个提问，实际上dremio 支持对于nessie source 特定branch 的 table 的创建，而且源码也有信息，只是官方文档缺少说明 branch创建表参考测试 一个简单sql CREATE table dbtv4.myappv5 AT BRANCH prod as se 阅读全文

摘要：就在最新的ollama 发布版本中对于类似openai 的函数调用支持了，但是目前有一些问题，就是相关历史的model 都需要修改下（添加TEMPLATE 对于tools的支持），一些是一个简单的测试 参考示例 使用了phidata 这个工具包 一个参考qwen2:7b 模型的修改 参考了llama 阅读全文

摘要：主要是一个简单测试 安装vllm pip 模式安装 部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

摘要：ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接 进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量） 下载的模型数据 模型数据结构 通过直接复制加载的模型 参考服务配置 systemd 服 阅读全文

摘要：对于需要进行youtube 数据处理的，有几个不错的工具包，可以选择youtube-transcript-api 核心是处理字幕的，可以提供不少参数pytube 支持下载视频，字幕，缩略图。。。yt-dlp 属于一个cli 以及python 包包含的功能比较完备，支持不少视频数据的处理 参考资料 h 阅读全文

摘要：ollama 提供了不少配置可以方便我们进行ollama 服务的调整，比如访问端口（默认127.0.0.1）,模型内存管理。。。 以下简单说明下访问以及模型内存管理的 完整配置信息 可以通过golang 代码查看，主要定义在envconfig/config.go 中 默认配置 func AsMap( 阅读全文

摘要：通过python 模式包体验下chdb 参考使用 安装依赖 pip install chdb 简单代码 from chdb.session import Session db = Session('./db') db.query("CREATE DATABASE if not exists db") 阅读全文

摘要：Crunchy 最近发布了一个Crunchy Bridge 的服务，通过duckdb 扩展了pg 对于数据分析的能力，官方发布的内容值得学习下 参考玩法 说明 实际上目前社区也有一个pg 的duckdb_fdw ，也值得体验下，Crunchy Bridge 不是一个fdw 扩展，反而是使用了类似ci 阅读全文

摘要：就在今天ollama 0.2.3 发布了，主要修复了关于系统prompt 不能生效的问题，而且通过测试glm4 的兼容也比较好了，以前版本对于结构化输出是有一些问题的 参考资料 https://github.com/ollama/ollama/releases 阅读全文

摘要：chdb 是基于clickhouse 的进程olap 引擎 包含的特性 基于clickhouse 的进程内的sql olap 引擎 serverless，不需要安装clickhouse 服务 通过python memoryview 的最小c++ python 数据拷贝 输入以及输出支持parquet 阅读全文

摘要：就在今天dremio 提供了25.0.5 社区版的下载地址，但是目前docker 镜像暂时还没提供，以下是基于eclipse-temurin:11.0.23_9-jdk 基础镜像 的一个可用镜像 Dockerfile FROM eclipse-temurin:11.0.23_9-jdk LABEL 阅读全文

摘要：就在今天ollama 0.2.2 解决了不少问题，比如nvida v100 gpu 问题，同时修复了一些关于特定模型以及nvida gpu oom 的问题 说明 以前在测试0.2.1 版本v100 的时候有明显的异常，造成服务不能正常工作， 通过测试0.2.2 目前是可以正常工作了 参考资料 htt 阅读全文

摘要：就在昨天dremio 提供了社区版的下载地址,此版本的变动核心是一些fix，新功能并不多 说明 目前源码暂时还没push 到github,同时docker 镜像也暂时未提供，后边体验下 参考资料 https://docs.dremio.com/current/release-notes/versio 阅读全文

摘要：polaris-catalog是snowflake 即将开源的apache iceberg catalog 服务，实现上基于了iceberg 的rest api，这样就可以实现多引擎的数据处理，而不用进行数据的移动 参考多引擎集成 说明 从机制上也是支持dremio 的，但是因为databricks 阅读全文

摘要：scrapyd 是官方出的调度服务，对于部署可以结合scrapyd-client，以下是一个简单说明 配置 scrapy 提供了一个scrapy.cfg 的配置文件，可以定义scrapyd服务地址 scrapy.cfg 参考配置 [deploy] url = http://scrapyd.examp 阅读全文

摘要：luax 目前没有提供直接的安装包，我们需要自己构建，以下说明下使用 构建&&使用 注意mac 系统构建有问题，没成功，使用的linux 构建 需要ninja 构建工具，可以通过pip 安装 git clone https://github.com/CDSoft/luax cd luax ./boo 阅读全文

摘要：就在最近ollama 0.2.0 发布了，比较重要的是支持并发处理 并发处理的特性 并行请求，同时处理多个chat 会话，同步的处理一个文档的多个部分，同时运行多个agent 多模型处理，支持RAG 场景，同时处理嵌入以及文本完成，同时运行多个agent 新模型支持 包含了GLM-4，CodeGee 阅读全文

摘要：如果查看scrapyd 内部处理以及scrapy 介绍的话，会发现有几个环境变量比较重要，scrapyd 在实际执行的时候会进行变量参数的处理 以下简单说明下 环境变量 SCRAPY_SETTINGS_MODULE 配置相关的,对于scrapy 框架是基于配置文件的 def init_env(pro 阅读全文