摘要：一、编程实现程序，从ods层下沉数据到dim层 ### HBaseReader：从Hbase中获取数据的类：HBaseReader： package dim import java.util //import myutils.ConnHBase import org.apache.flink.con
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、DIM层处理 ### DIM层处理 ~~~ 最原始的表 mysql中 yanqi_area > （hbase） ~~~ 转化yanqi_area > 地区id,地区的名字，城市的id，城市的名字， 省份的id，省份的名字 ~~~ # --> 存入 hbase中 ~~~ mysql hbase 管
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、编程实现程序：将Kafka中的维度表写入DIM层 ### 编程实现：KafkaToHBase：将Kafka作为Source，Flink作为消费者从Kafka中获取数据 package ods import java.util import com.alibaba.fastjson.{JSON,
阅读全文
摘要：一、创建一个maven工程：创建一个maven工程：EbProject ### 在pom.xml下导入依赖环境 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</
阅读全文
摘要：一、编程实现：样例类：将Kafka中的维度表写入DIM层 ### 编程实现样例类一：TableObject package ods /** * 存放mysql log_bin日志信息的样例类 * log_bin日志经过canel转成json发给kafka * flink应用读kafka中json数据
阅读全文
摘要：一、Kappa架构 ### Kappa架构 ~~~ 正如前面提到的，Lambda Architecture有其优点和缺点，人们也划分成支持者和反对者两派。 ~~~ Kappa 架构是LinkedIn的Jay Kreps结合实际经验和个人体会， ~~~ 针对Lambda架构进行深度剖析，分析其优缺点并
阅读全文
摘要：一、json日志数据格式 ### 样例sql ~~~ # 在mysql中插入数 mysql> INSERT INTO `yanqi_trade_orders` VALUES ('2', '23a0b124546', '121', '2', '0.12', '6331.00', '2', '0', '
阅读全文
摘要：一、Canal 安装说明 ### Canal 安装说明 ~~~ 单机模式，也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式，可将Canal目录分发给其他虚拟机，然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式， ~~~ 只能实现高可用，而不是负载均衡，
阅读全文
摘要：一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan
阅读全文
摘要：一、大数据数据仓库的架构： ### 架构体系 ~~~ # 离线大数据架构： ~~~ HDFS存储，hive、mr、spark进行离线计算的传统大数据架构； ~~~ # Lambda架构： ~~~ 在离线大数据架构的基础上增加新链路用于实时数据处理，需要维护离线处理和实时处理两套代码； ~~~ # K
阅读全文
摘要：一、Canal同步业务数据 ### 环境准备 ~~~ Hadoop、HBASE、Flink、ClickHouse、MySQL、Canal、Kafka ### 初始Canal：什么是 Canal ~~~ 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外， ~~~ 所以衍生出了
阅读全文
摘要：一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + +
阅读全文
摘要：一、技术选型 ### 技术选型方案 ~~~ # 框架选型 Apache / 第三方发行版（CDH / HDP / Fusion Insight） Apache社区版本优点： ~~~ 完全开源免费 ~~~ 社区活跃 ~~~ 文档、资料详实 ~~~ # 缺点： ~~~ 复杂的版本管理 ~~~ 复杂的集群
阅读全文
摘要：一、业务数据库表结构 ### 业务数据库：数据源 ~~~ 交易订单表（yanqi_trade_orders） ~~~ 订单产品表（yanqi_order_product） ~~~ 产品信息表（yanqi_product_info） ~~~ 产品分类表（yanqi_product_category）
阅读全文
摘要：一、需求分析 ### 需求分析 ~~~ 日志数据：启动日志、点击日志（广告点击日志） ~~~ 业务数据：用户下单、提交订单、支付、退款等核心交易数据的分析 ~~~ 广告流量实时统计： 生成动态黑名单 ~~~ 恶意刷单：一旦发现恶意刷单时进行实时告警 ~~~ 基于动态黑名单进行点击行为过滤 计算每隔5
阅读全文
摘要：一、项目背景与需求 ### 项目背景 ~~~ 随着互联网的发展，数据的时效性对企业的精细化运营越来越重要， 商场如战场， ~~~ 在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， ~~~ 对企业的决策运营策略调整有很大帮助。 ~~~ 此外，随着 5G 技术的成熟、广泛应用， 对于互联网、
阅读全文
摘要：一、实时数仓转型故事：离线数仓： 二、离线数仓分层架构图： 三、实时计算架构： 四、数据计算架构说明 ~~~ # 收集层： ~~~ Binlog（业务日志）、loT(物联网)、后端服务日志（系统日志） ~~~ 经过日志收集团队和 DB 收集团队的处理，数据将会被收集到 Kafka 中。 ~~~ 这些
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
