RDD之间的依赖关系
摘要：
阅读全文
posted @ 2019-08-16 22:10 Ouchzzzzz 阅读(266) 评论(0) 推荐(0) 编辑
Spark里面的有向无环图（DAG）
摘要：
阅读全文
posted @ 2019-08-16 21:58 Ouchzzzzz 阅读(1025) 评论(0) 推荐(1) 编辑
网站流量分析架构及实现
摘要：
指标含义 hive做离线数据处理 Spark Stream把从kafka收到数据进行封装,并插入到HBASE里 API将数据插入到HBASE里 通过API，从HBASE读取数据 查询HBASE数据，实现范围查询 阅读全文
posted @ 2019-08-14 23:13 Ouchzzzzz 阅读(271) 评论(0) 推荐(0) 编辑
hive的sql语句
摘要：
手动修复分区 Struct类型 连接JOIN操作 left semi join查找出A表出现在B表中的数据，但不会显示B表在A中出现的 使用函数需要加上select 捕获中间的数字 利用hive完成单词统计的案例 UDF=user define Fuction 阅读全文
posted @ 2019-08-12 21:07 Ouchzzzzz 阅读(428) 评论(0) 推荐(0) 编辑
