2020年7月11日
二、（技术选型与架构设计）亿级用户行为之大数据实时分析
摘要： 1. 客户端到服务端数据流程（数据从何而来） 1）我们自己可以设定采集时间间隔，比如5分钟或者10分钟采集手机客户端使用应用产生的数据 它会定时采集数据，然后对数据进行合并（减少对系统的压力），然后将数据存入本地数据库。 当我们手机联网的时候，将数据一起发送出去。 2）当手机联网或者到了定时上传数据 阅读全文
posted @ 2020-07-11 23:09 起始的地方 阅读(270) 评论(0) 推荐(0) 编辑
一、（项目业务介绍）亿级用户行为之大数据实时分析
摘要： 一、项目业务介绍 1. 学习该项目的是什么？ flume+kafka+Spark Streaming+hbase 1）掌握高可用的大数据采集系统 2）掌握高并发的分布式消息队列 3）掌握基于内存的高吞吐的实时计算 4）海量存储，毫秒级查询的数据库 2. 公司在什么背景下做这个项目？ 1）需要采集用户 阅读全文
posted @ 2020-07-11 22:53 起始的地方 阅读(389) 评论(0) 推荐(0) 编辑
2020年6月27日
（四）HBase
摘要： 续接（三） 3 habse（1.2）集成hive（1.2.1） 》不兼容集成，需要自己编译！！！ hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成，使得能够在HBase表上使用hiv 阅读全文
posted @ 2020-06-27 17:14 起始的地方 阅读(233) 评论(0) 推荐(0) 编辑
（三）HBase之Bulkload
摘要： 三、课堂目标 1. 掌握hbase的客户端API操作 2. 掌握hbase集成MapReduce 3. 掌握hbase集成hive 4. 掌握hbase表的rowkey设计 5. 掌握hbase表的热点 6. 掌握hbase表的数据备份 7. 掌握hbase二级索引 四、知识要点 1. hbase客 阅读全文
posted @ 2020-06-27 15:49 起始的地方 阅读(1435) 评论(0) 推荐(0) 编辑
2020年6月26日
（二）HBase存储、读写等原理
摘要： 三、课堂目标 1. 掌握hbase的数据存储原理 2. 掌握hbase的读流程和写流程 3. 掌握hbase表的region拆分和合并 4. 掌握hbase表的预分区 四、知识要点 1. hbase的数据存储原理 HRegionServer=》多个Region Region=》多个store，一个列 阅读全文
posted @ 2020-06-26 22:32 起始的地方 阅读(463) 评论(0) 推荐(0) 编辑
（一）HBase
摘要： 三、课堂目标 理解hbase的核心概念 掌握hbase的特点 掌握hbase的架构 掌握hbase存储数据结构 掌握hbase的安装部署 掌握hbase shell命令基本操作 四、知识要点 1. habse是什么 漫画学习hbase 最易懂的Hbase架构原理解析http://developer. 阅读全文
posted @ 2020-06-26 21:06 起始的地方 阅读(165) 评论(0) 推荐(0) 编辑
数据仓库基础
摘要： 四、知识点 1. 数据仓库基本介绍 英文名称为==Data Warehouse==，可简写为DW或DWH。数据仓库的目的是==构建面向分析的集成化数据环境==，为企业提供==决策支持==（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同 阅读全文
posted @ 2020-06-26 18:13 起始的地方 阅读(358) 评论(0) 推荐(0) 编辑
（五）Hive1.2.2优化
摘要： 1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 阅读全文
posted @ 2020-06-26 17:51 起始的地方 阅读(241) 评论(0) 推荐(0) 编辑
（四）Hive1.2.2
摘要： 1. order by，sort by，distribute by，cluster by的区别？ 2. 聚合函数是否可以写在order by后面，为什么？ 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 阅读全文
posted @ 2020-06-26 17:07 起始的地方 阅读(176) 评论(0) 推荐(0) 编辑
（三）Hive1.2.2
摘要： 一、课前准备 1. 安装hive环境 2. 掌握hive sql DDL和DML操作 3. 掌握hive sql 的分区表创建和使用 二、课堂主题 本课堂主要围绕hive的查询操作进行讲解，主要包括以下几个方面 1. select 查询语句中的基本查询 2. select查询语句的分组 3. sel 阅读全文
posted @ 2020-06-26 16:33 起始的地方 阅读(168) 评论(0) 推荐(0) 编辑