花未全开*月未圆

2021年12月11日

摘要： ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生阅读全文

posted @ 2021-12-11 17:29 花未全开*月未圆阅读(350) 评论(0) 推荐(0) 编辑

二 clickhouse-部署

摘要： ClickHouse支持运行在主流64位CPU架构（X86、AArch和 PowerPC）的Linux操作系统之上，可以通过源码编译、预编译压缩包、Docker镜像和RPM等多种方法进行安装。 1 单节点部署 1) 信息步骤安装curl工具 yum install -y curl 添加clickh 阅读全文

posted @ 2021-12-11 17:17 花未全开*月未圆阅读(278) 评论(0) 推荐(1) 编辑

2021年1月25日

简要了解数仓

摘要： 1. 什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2. 数据仓库能干阅读全文

posted @ 2021-01-25 11:27 花未全开*月未圆阅读(623) 评论(0) 推荐(0) 编辑

2021年1月20日

智慧城市公交大数据中心项目资料投标、运维、验收文档（方案）。（非个人公司文档）

摘要：某年某日某天，突然被安排写竞标书，投标书。收集各大网络，整理出来的参考模板。（整理不易，好好珍惜）附链接阅读全文

posted @ 2021-01-20 14:50 花未全开*月未圆阅读(354) 评论(3) 推荐(0) 编辑

2020年9月20日

大数据组件性能调优文档整理（集群、HDFS、Hive)

摘要： 12.1 配置原则如何发挥集群最佳性能原则1：CPU核数分配原则数据节点：建议预留2～4个核给OS和其他进程(数据库，HBase等)外，其他的核分配给YARN。控制节点：由于运行的进程较多，建议预留6～8个核。原则2：内存分配除了分配给OS、其他服务的内存外，剩余的资源应尽量分配给YAR 阅读全文

posted @ 2020-09-20 13:39 花未全开*月未圆阅读(1507) 评论(0) 推荐(0) 编辑

Table API 和 Flink SQL—第五章函数（Functions）

摘要： Flink Table 和 SQL 内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 5.1 系统内置函数 Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多函数，Table API 和 SQL 阅读全文

posted @ 2020-09-20 12:46 花未全开*月未圆阅读(1382) 评论(0) 推荐(0) 编辑

Table API 和 Flink SQL—第四章窗口（Windows）

摘要：时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows 4.1 分组窗阅读全文

posted @ 2020-09-20 12:36 花未全开*月未圆阅读(1707) 评论(0) 推荐(0) 编辑

Table API 和 Flink SQL—第二章 API 调用

摘要： 2.1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义 source、transform 和 sink。具体操作流程如下： val tableEnv = ... // 创建表的执行环境 // 创建一张表，用阅读全文

posted @ 2020-09-20 12:12 花未全开*月未圆阅读(600) 评论(0) 推荐(0) 编辑

Table API 和 Flink SQL—第一章整体介绍

摘要：第一章整体介绍1.1 什么是 Table API 和 Flink SQLFlink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。目前功能尚未完善，处于活跃的开发阶段。Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API 阅读全文

posted @ 2020-09-20 11:54 花未全开*月未圆阅读(222) 评论(0) 推荐(0) 编辑

Storm—Storm分组策略和并发度

摘要：五分组策略和并发度 5.1 读取文件案例思考 1）spout数据源：数据库、文件、MQ（比如：Kafka） 2）数据源是数据库：只适合读取数据库的配置文件 3）数据源是文件：只适合测试、讲课用（因为集群是分布式集群） 4）企业产生的log文件处理步骤：（1）读出内容写入MQ （2）Storm再处阅读全文

posted @ 2020-09-20 10:59 花未全开*月未圆阅读(347) 评论(0) 推荐(0) 编辑

花未全开*月未圆

谦虚谨慎，戒骄戒躁，稳中求进，悟道行之

公告