摘要：
Sqoop简介 将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具、 官网： http://sqoop.apache.org/ 版本：（两个版本完全不兼容，sqoop1使用最多） sqoop1：1.4.x sqoop2：1.99.x sqoop架构非 阅读全文
posted @ 2022-06-23 19:55 liudehaos 阅读(722) 评论(0) 推荐(0) 编辑
摘要：
分布式日志采集系统Flume学习 一、Flume架构 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方( 阅读全文
posted @ 2022-06-23 19:39 liudehaos 阅读(283) 评论(0) 推荐(0) 编辑
摘要：
HBase学习（四） 一、HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程：1）是由客户端发起读取数据的请求，首先会与zookeeper建立连接2）从zookeeper中获取一个hbase:meta表位置信息，被哪一个regionserver所管理着 hbase:m 阅读全文
posted @ 2022-06-23 16:10 liudehaos 阅读(1130) 评论(0) 推荐(0) 编辑
摘要：
Hbase学习（三）过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（ 阅读全文
posted @ 2022-06-23 15:57 liudehaos 阅读(200) 评论(0) 推荐(0) 编辑
摘要：
一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？ 使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create 'bigdata17:t1 阅读全文
posted @ 2022-06-23 15:55 liudehaos 阅读(185) 评论(0) 推荐(0) 编辑
摘要：
HBase学习（一） 一、了解HBase 官方文档：https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据 HBase是Hadoop的生态系统之 阅读全文
posted @ 2022-06-23 15:51 liudehaos 阅读(73) 评论(0) 推荐(0) 编辑
摘要：
Hive优化（面试宝典） 1.1 hive的随机抓取策略 理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们 省略掉了这个过程，把切片split的过程提前帮我们做了。 set hive.fetch.task.conversion=none; (一旦进行这么设 阅读全文
posted @ 2022-06-23 15:32 liudehaos 阅读(332) 评论(0) 推荐(0) 编辑
摘要：
第三天笔记 第三天笔记 SQL练习Hive 常用函数关系运算数值计算条件函数日期函数重点！！！字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合开窗函数实战：实战1：Hive用户购买明细数据分析实战1需求：1.1.2 排序开窗函数实战2：Hive分析学生成 阅读全文
posted @ 2022-06-23 15:29 liudehaos 阅读(436) 评论(0) 推荐(0) 编辑