摘要：一、编程实现第二层：ODS层数据处理 ### 编程实现第二层：ODS层数据处理 ~~~ ODS：同第四部分 yanqi_area ~~~ ODS：mysql--（binlog） canal kafka——>yanqi_area ~~~ 下沉mysql：yanqi_area表到hbash：yanqi_
阅读全文
摘要：一、需求1 :查询城市、省份、订单总额、订单总数 全量查询 ### ODS层数层数据处理：yanqi_trade_orders ~~~ ods层数据处理：同第三部分 ~~~ ods：mysql--（binlog） canal kafka——>yanqi_trade_orders ~~~ ods：my
阅读全文
摘要：一、编程实现第一层：ODS层数据处理：查询城市、省份、订单总额、订单总数 全量查询 ### 编程实现第一层：ODS层数据处理：查询城市、省份、订单总额、订单总数 全量查询 ~~~ ods层数据处理 ~~~ ods：同第三部分：mysql--（binlog） canal kafka——>yanqi_t
阅读全文
摘要：一、DWS ### 具体代码参见配套工程代码 ~~~ 数据仓库层次的划分不是固定不变的， ~~~ 可以根据实际需求进行适当裁剪或者是添加。 ~~~ 如果业务相对简单和独立，可以将DWD、DWS进行合并。 ~~~ # 注意：在实时数仓中，DWS层数据根据自己的需求定义，后期教程会定义 Walter S
阅读全文
摘要：一、ADS层处理 ### ADS层梳理 ~~~ ADS（Application Data Store 应用数据层）。 ~~~ 基于DW数据，整合汇总成主题域的服务数据，用于提供后续的业务查询等。 ### 从数据明细层读分析结果数据到clickhouse、redis、druid等 二、编程实现 ###
阅读全文
摘要：一、编程实现DWD（AreaDetailInfo代码同样可以归属在DIM层中）：参考代码 ### 编程实现dwd层数据：AreaDetailInfo package dim import org.apache.flink.streaming.api.{CheckpointingMode, TimeC
阅读全文
摘要：一、编程实现 ### 编程实现DWD层数据处理：WindowJoin package dw.dwd import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.scala
阅读全文
摘要：一、编程实现 ### 编程实现DWD层数据处理：CoProcessFunc package dw.dwd import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.fli
阅读全文
摘要：一、DW层处理 ### DW层处理 ~~~ DW（Data Warehouse 数据仓库层）。 ~~~ 包含DWD、DWS、DIM层，由ODS层数据加工而成。主要完成数据加工与整合， ~~~ 建立一致性的维度， ~~~ 构建可复用的面向分析和统计的明细事实表， ~~~ 以及汇总公共粒度的指标。 ~~
阅读全文
摘要：一、编程实现程序，从ods层下沉数据到dim层 ### HBaseReader：从Hbase中获取数据的类：HBaseReader：从hbash：yanqi_area中读取数据 package dim import java.util import myutils.ConnHBase import
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、将mysql中yanqi_area表下沉到hbas中 ### 在hbash中创建表：yanqi_area ~~~ # 在hbash中创建yanqi_area"表 [root@hadoop02 ~]# /opt/yanqi/servers/hbase-1.3.1/bin/hbase shell h
阅读全文
摘要：一、DIM层处理 ### DIM层处理 ~~~ 最原始的表 mysql中 yanqi_area > （hbase） ~~~ 转化yanqi_area > 地区id,地区的名字，城市的id，城市的名字， 省份的id，省份的名字 ~~~ # --> 存入 hbase中 ~~~ mysql hbase 管
阅读全文
摘要：一、将mysql中yanqi_trade_orders表下沉到hbas中 ### 在hbash中创建表：yanqi_trade_orders ~~~ # 在hbash中创建yanqi_trade_orders"表 [root@hadoop02 ~]# /opt/yanqi/servers/hbase
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、编程实现工具类： ### 编程实现工具类一：ConnHBase package myutils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.{HBaseConfiguration, HCon
阅读全文
摘要：一、编程实现程序：将Kafka中的维度表写入DIM层 ### 编程实现：KafkaToHBase：将Kafka作为Source，Flink作为消费者从Kafka中获取数据 package ods import java.util import com.alibaba.fastjson.JSON im
阅读全文
摘要：一、创建一个maven工程：创建一个maven工程：EbProject ### 在pom.xml下导入依赖环境 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</
阅读全文
摘要：一、编程实现：样例类 ### 编程实现样例类一：AdClick package modes case class AdClick(area: String, uid:String ,productId: String,timestamp:Long) ### 编程实现样例类二：AreaInfo pac
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
