摘要: 目录1. Transformer模型1.1 核心组件1.2 模型结构1.3 Transformer 使用1.3.1 使用 Hugging Face Transformers 库1.3.2 自定义 Transformer 模型1.3.3 Transformer 的 Demo1.3.3.1 安装依赖1. 阅读全文
posted @ 2025-02-08 14:47 chaplinthink 阅读(279) 评论(0) 推荐(0) 编辑
摘要: 目录1. What2. 架构2.1 CoordinatorServer2.2 TabletServer2.3 LogStore2.4 KvStore2.5 Tablet / Bucket2.6 Zookeeper2.7 Remote Storage2.8 Client3. 表设计3.1 概述3.1. 阅读全文
posted @ 2025-01-16 16:55 chaplinthink 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 目录1. 背景2. 目标3. Pamion 的概念和设计3.1 架构3.2 统一存储3.3 基础概念3.3.1 文件布局3.3.2 Snapshot3.3.3 Manifest 文件3.3.4 数据文件3.3.5 分区3.3.6 一致性保证3.4 并发控制3.4.1 快照冲突3.4.2 文件冲突3. 阅读全文
posted @ 2025-01-14 17:09 chaplinthink 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 目录1.DB-GPT支持的功能2.配置StarRocks数据库3. ChatBI4. APP创建使用5. 元数据库配置6. API 调用探索6.1 app6.2 datasources6.3 Knowledge7. 问题总结8. 贡献的PR 1.DB-GPT支持的功能 2.配置StarRocks数据 阅读全文
posted @ 2024-12-16 14:50 chaplinthink 阅读(178) 评论(0) 推荐(1) 编辑
摘要: 目录源码下载Miniconda环境安装模型部署下载Embedding 模型配置代理测试数据运行服务访问 源码下载 git clone https://github.com/eosphoros-ai/DB-GPT.git Miniconda环境安装 Miniconda 安装 mkdir -p ~/mi 阅读全文
posted @ 2024-11-06 23:17 chaplinthink 阅读(542) 评论(1) 推荐(0) 编辑
摘要: 个人技术方向发展 阅读全文
posted @ 2023-07-13 15:46 chaplinthink 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 介绍 特性: 高性能,内存利用率高,没有运行时和垃圾回收 可靠 , 丰富的类型系统和所有权模型保证内存和线程安全,编译器可以消除各种错误 生产力, 包管理器、构建工具一流, 多编辑器支持自动补齐和格式化代码 应用场景: 命令行工具,无需解释程序,直接生成目标可执行程序 web应用, 可以直接生成We 阅读全文
posted @ 2022-09-24 17:30 chaplinthink 阅读(669) 评论(2) 推荐(1) 编辑
摘要: 场景 订单数据之类的业务表,因为有状态要更新,比如订单状态,物流状态之类的,需要同步很久之前的数据到Hive. 如何同步时在Hive中进行操作一次更新多个分区内的数据? Hive 操作 设置Hive动态分区 SET hive.exec.dynamic.partition=true; SET hive 阅读全文
posted @ 2022-07-24 15:37 chaplinthink 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 窗口计算 我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理 按照有没有进行keyby分成了两种 不同的处理方式: 首先,我们要决定是否对一个DataStre 阅读全文
posted @ 2022-05-29 18:30 chaplinthink 阅读(104) 评论(0) 推荐(0) 编辑
摘要: Yarn 架构 下图为作业提交到yarn的交互流程: 组件列表 ResourceManager (RM):ResourceManager (RM) 负责处理客户端请求、启动 / 监控 ApplicationMaster、监控 NodeManager、资源的分配与调度,包含 Scheduler 和 A 阅读全文
posted @ 2022-05-28 22:57 chaplinthink 阅读(1486) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示