摘要:
目录1. Transformer模型1.1 核心组件1.2 模型结构1.3 Transformer 使用1.3.1 使用 Hugging Face Transformers 库1.3.2 自定义 Transformer 模型1.3.3 Transformer 的 Demo1.3.3.1 安装依赖1. 阅读全文
摘要:
目录1. What2. 架构2.1 CoordinatorServer2.2 TabletServer2.3 LogStore2.4 KvStore2.5 Tablet / Bucket2.6 Zookeeper2.7 Remote Storage2.8 Client3. 表设计3.1 概述3.1. 阅读全文
摘要:
目录1. 背景2. 目标3. Pamion 的概念和设计3.1 架构3.2 统一存储3.3 基础概念3.3.1 文件布局3.3.2 Snapshot3.3.3 Manifest 文件3.3.4 数据文件3.3.5 分区3.3.6 一致性保证3.4 并发控制3.4.1 快照冲突3.4.2 文件冲突3. 阅读全文
摘要:
目录1.DB-GPT支持的功能2.配置StarRocks数据库3. ChatBI4. APP创建使用5. 元数据库配置6. API 调用探索6.1 app6.2 datasources6.3 Knowledge7. 问题总结8. 贡献的PR 1.DB-GPT支持的功能 2.配置StarRocks数据 阅读全文
摘要:
目录源码下载Miniconda环境安装模型部署下载Embedding 模型配置代理测试数据运行服务访问 源码下载 git clone https://github.com/eosphoros-ai/DB-GPT.git Miniconda环境安装 Miniconda 安装 mkdir -p ~/mi 阅读全文
摘要:
介绍 特性: 高性能,内存利用率高,没有运行时和垃圾回收 可靠 , 丰富的类型系统和所有权模型保证内存和线程安全,编译器可以消除各种错误 生产力, 包管理器、构建工具一流, 多编辑器支持自动补齐和格式化代码 应用场景: 命令行工具,无需解释程序,直接生成目标可执行程序 web应用, 可以直接生成We 阅读全文
摘要:
场景 订单数据之类的业务表,因为有状态要更新,比如订单状态,物流状态之类的,需要同步很久之前的数据到Hive. 如何同步时在Hive中进行操作一次更新多个分区内的数据? Hive 操作 设置Hive动态分区 SET hive.exec.dynamic.partition=true; SET hive 阅读全文
摘要:
窗口计算 我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理 按照有没有进行keyby分成了两种 不同的处理方式: 首先,我们要决定是否对一个DataStre 阅读全文
摘要:
Yarn 架构 下图为作业提交到yarn的交互流程: 组件列表 ResourceManager (RM):ResourceManager (RM) 负责处理客户端请求、启动 / 监控 ApplicationMaster、监控 NodeManager、资源的分配与调度,包含 Scheduler 和 A 阅读全文