摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star
阅读全文
摘要：一、需求6：交易支付异常 二、数据格式 9390,1,2020-07-28 00:15:11,295 5990,1,2020-07-28 00:16:12,165 9390,2,2020-07-28 00:18:11,295 5990,2,2020-07-28 00:18:12,165 9390,3
阅读全文
摘要：一、需求5：实时统计各渠道来源用户数量 二、编程实现工具类：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSch
阅读全文
摘要：一、编程实现：ChanalStatistics：实时统计各渠道来源用户数量 package dw.dws import com.alibaba.fastjson.{JSON, JSONObject} import modes.{ChanalDetail, CountByChannal} import
阅读全文
摘要：一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、需求4：显示：黑名单用户ID、广告ID、点击数 Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both han
阅读全文
摘要：一、编程实现：工具类：显示：黑名单用户ID、广告ID、点击数 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.
阅读全文
摘要：一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 package dw.dws import modes.{AdClick, CountByProductAd} import myutils.SourceKafka import java.sql.Date import java.tex
阅读全文
摘要：一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.
阅读全文
摘要：一、Flume配置文件： ### flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、需求3：每隔5秒统计最近1小时内广告的点击量 增量 二、实现步骤 ### 实现步骤 ~~~ 获取数据源（input） flume ~~~ 转化 ~~~ 数据源的格式：area：uid：product_id：time: 样例类中AdClick；过滤操作filter product_id ！= nu
阅读全文
摘要：一、编程实现：工具类：每隔5分钟统计最近1小时内的订单交易情况显示城市/省份/交易总金额/订单总数 ### 编程实现：工具类一：ConnHBase package myutils import org.apache.hadoop.conf.Configuration import org.apach
阅读全文
摘要：一、编程实现：redis下沉器：MySinkToRedis ### 编程实现：redis下沉器：MySinkToRedis package ads import java.util import modes.CityOrder import org.apache.flink.configuratio
阅读全文
摘要：一、需求2：每隔5分钟统计最近1小时内的订单交易情况，显示城市/省份/交易总金额/订单总数 增量统计 二、编程实现流程 ### 读取数据源（input） ~~~ # input读取数据源： input1：mysql：yanqi_area HBase：dim_yanqi_area(地域宽表) # 从h
阅读全文
摘要：一、编程实现第四层：DWS层数据处理：统计城市、省份订单总额 ### 编程实现第四层：DWS层数据处理：统计城市、省份订单总额 ~~~ dws : 统计城市、省份的订单总额， ~~~ 订单总额和订单总数：orderNo、userId、status、totalMoney、areaId ~~~ ODS—
阅读全文
摘要：一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya
阅读全文
摘要：一、编程实现第三层：DIM层数据处理 ### 编程实现第三层：DIM层数据处理 ~~~ DIM：同第四部分 dim_yanqi_area表数据 ~~~ hbash：yanqi_area——>hbash：dim_yanqi_area ~~~ 生成hbash：yanqi_area表到hbash：dim_
阅读全文
