十一vs十一 - 博客园

2024年3月30日

摘要： ClickHouse的深入了解一、介绍 ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS） ClickHouse采用 C++ 语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库 ClickHouse集群的每台服务器每秒能阅读全文

posted @ 2024-03-30 00:34 十一vs十一阅读(58) 评论(0) 推荐(0) 编辑

客快物流大数据项目(四十五)：Spark操作Kudu DML操作

摘要： Spark操作Kudu DML操作 Kudu支持许多DML类型的操作，其中一些操作包含在Spark on Kudu集成. 包括： INSERT - 将DataFrame的行插入Kudu表。请注意，虽然API完全支持INSERT，但不鼓励在Spark中使用它。使用INSERT是有风险的，因为Spar 阅读全文

posted @ 2024-03-30 00:29 十一vs十一阅读(5) 评论(0) 推荐(0) 编辑

客快物流大数据项目(四十四)：Spark操作Kudu创建表

摘要： Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDD Native Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推 Kudu和Spark SQL之间的模式映射到目前为阅读全文

posted @ 2024-03-30 00:29 十一vs十一阅读(24) 评论(0) 推荐(0) 编辑

2024年3月29日

客快物流大数据项目（九十三）：ClickHouse的ReplacingMergeTree深入了解 ClickHouse清除重复数据

摘要： ClickHouse的ReplacingMergeTree深入了解为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且阅读全文

posted @ 2024-03-29 23:24 十一vs十一阅读(836) 评论(0) 推荐(0) 编辑

客快物流大数据项目(五十一)：数据库表分析物流项目数据库表设计

摘要：数据库表分析一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6 阅读全文

posted @ 2024-03-29 23:17 十一vs十一阅读(222) 评论(0) 推荐(0) 编辑

客快物流大数据项目(四十二)：Java代码操作Kudu

摘要： Java代码操作Kudu 一、构建maven工程二、导入依赖三、创建包结构四、初始化方法五、创建表六、插入数据七、查询数据八、修改数据九、删除数据十、修改表十一、删除表阅读全文

posted @ 2024-03-29 23:13 十一vs十一阅读(20) 评论(0) 推荐(0) 编辑

客快物流大数据项目（八十二）：Kudu的读写原理一般有用看1

摘要： Kudu的读写原理一、工作模式 Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包阅读全文

posted @ 2024-03-29 23:11 十一vs十一阅读(22) 评论(0) 推荐(0) 编辑

客快物流大数据项目(六十二)：主题及指标开发 common包下定义的一些内容一般有用看1

摘要：主题及指标开发一、主题开发业务流程二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口主题及指标开发一、主题开发业务流程二、离阅读全文

posted @ 2024-03-29 22:41 十一vs十一阅读(9) 评论(0) 推荐(0) 编辑

客快物流大数据项目(六十八)：工作流调度 azkaban介绍及用法一般有用图片偏多看1

摘要：工作流调度一、工作流产生背景工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。一个完整的阅读全文

posted @ 2024-03-29 22:36 十一vs十一阅读(53) 评论(0) 推荐(0) 编辑

客快物流大数据项目（八十五）：实时OLAP分析需求一些组件的特点一般有用看1

摘要：实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。阅读全文

posted @ 2024-03-29 22:28 十一vs十一阅读(19) 评论(0) 推荐(0) 编辑

公告