上一页 1 2 3 4 5 6 7 8 ··· 76 下一页
摘要: Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作,但我们还可以直接从默认数据源本身调用读/写API。要设置读取,我们需要为Kudu表指定选项,命名我们要读取的表以及为表提供服务的K 阅读全文
posted @ 2024-03-30 00:36 十一vs十一 阅读(3) 评论(0) 推荐(0) 编辑
摘要: ​ClickHouse的深入了解 一、介绍 ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统(DBMS) ClickHouse采用 C++ 语言开发,以卓越的查询性能著称,在基准测试中超过了目前很多主流的列式数据库 ClickHouse集群的每台服务器每秒能 阅读全文
posted @ 2024-03-30 00:34 十一vs十一 阅读(22) 评论(0) 推荐(0) 编辑
摘要: Spark操作Kudu DML操作 Kudu支持许多DML类型的操作,其中一些操作包含在Spark on Kudu集成. 包括: INSERT - 将DataFrame的行插入Kudu表。请注意,虽然API完全支持INSERT,但不鼓励在Spark中使用它。 使用INSERT是有风险的,因为Spar 阅读全文
posted @ 2024-03-30 00:29 十一vs十一 阅读(5) 评论(0) 推荐(0) 编辑
摘要: Spark操作Kudu创建表 Spark与KUDU集成支持: DDL操作(创建/删除) 本地Kudu RDD Native Kudu数据源,用于DataFrame集成 从kudu读取数据 从Kudu执行插入/更新/ upsert /删除 谓词下推 Kudu和Spark SQL之间的模式映射 到目前为 阅读全文
posted @ 2024-03-30 00:29 十一vs十一 阅读(11) 评论(0) 推荐(0) 编辑
摘要: ​ClickHouse的ReplacingMergeTree深入了解 为了解决MergeTree相同主键无法去重的问题,ClickHouse提供了ReplacingMergeTree引擎,用来对主键重复的数据进行去重。 删除重复数据可以使用optimize命令手动执行,这个合并操作是在后台运行的,且 阅读全文
posted @ 2024-03-29 23:24 十一vs十一 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 数据库表分析 一、物流运输管理数据库表 1、揽件表(tbl_collect_package) 2、客户表(tbl_customer) 3、物流系统码表(tbl_codes) 4、快递单据表(tbl_express_bill) 5、快递包裹表(tbl_express_package) ​​​​​​​6 阅读全文
posted @ 2024-03-29 23:17 十一vs十一 阅读(36) 评论(0) 推荐(0) 编辑
摘要: Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、​​​​​​​创建包结构 四、​​​​​​​初始化方法 五、​​​​​​​创建表 六、​​​​​​​插入数据 七、​​​​​​​查询数据 八、修改数据 九、​​​​​​​删除数据 十、​​​​​​​修改表 十一、​​​​​​​删除表 阅读全文
posted @ 2024-03-29 23:13 十一vs十一 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Kudu的读写原理 一、​​​​​​​工作模式 Kudu的工作模式如下图,有些在上面的内容中已经介绍了,这里简单标注一下: 每个kudu table按照hash或range分区为多个tablet; 每个tablet中包含一个MemRowSet以及多个DiskRowSet; 每个DiskRowSet包 阅读全文
posted @ 2024-03-29 23:11 十一vs十一 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 主题及指标开发 一、主题开发业务流程 二、离线模块初始化 1、创建包结构 2、​​​​​​​创建时间处理工具 3、​​​​​​​定义主题宽表及指标结果表的表名 4、​​​​​​​物流字典码表数据类型定义枚举类 5、​​​​​​​封装公共接口 主题及指标开发 一、主题开发业务流程 二、​​​​​​​离 阅读全文
posted @ 2024-03-29 22:41 十一vs十一 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 工作流调度 一、工作流产生背景 工作流(Workflow),指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是:为了实现某个业务目标,利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的 阅读全文
posted @ 2024-03-29 22:36 十一vs十一 阅读(11) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 76 下一页