摘要：一、基础应用 ### 基础应用 ~~~ Flume 支持的数据源种类有很多，可以来自directory、http、kafka等。 ~~~ Flume提供了Source组件用来采集数据源。 二、常见的 Source 有： ### avro source： ~~~ 监听 Avro 端口来接收外部 avr
阅读全文
摘要：一、安装部署 ### [数据采集工具-Flume] ~~~ [Flume.v1.9.0安装部署] ~~~ [Flume应用之Source/Channel及Sink] ~~~ [Flume应用案例01] ~~~ [Flume应用案例02] ~~~ [Flume应用案例03] ~~~ [Flume应用案
阅读全文
摘要：一、Flume体系结构 ### Flume架构中的组件： ~~~ # Agent本质上是一个 JVM 进程， ~~~ 该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。 ~~~ 一个完整的Agent中包含了三个组件Source、Channel和Sink，So
阅读全文
摘要：一、Flume概述 ### [数据采集工具-Flume] ~~~ [Flume简介] ~~~ [Flume拓扑结构] ~~~ [Flume体系架构] ~~~ [Flume内部原理] ### 概述(什么是、体系结构、拓扑结构、内部原理) ### 安装配置 ### 应用(基础、高级) ~~~ 无论数据来
阅读全文
摘要：一、实现：步骤一：创建表 ### 步骤一：创建表 ~~~ 将数据存放在ORC文件中 ~~~ # createtable.hql hive (tuning)> drop database sale cascade; hive (tuning)> create database if not exist
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、需求描述：针对销售数据，完成统计： ### [数据仓库工具-Hive] ~~~ [Hue案例之导入数据] ~~~ [Hive案例实现part01] ~~~ [Hive案例实现part02] ~~~ [Hive案例实现part03] ~~~ [Hive案例实现part04] ~~~ [Hive案例
阅读全文
摘要：一、启动 Hue 服务 ### 增加 hue 用户和用户组 [root@linux122 hue]# groupadd hue [root@linux122 hue]# useradd -g hue hue ### 在hue安装路径下执行 [root@linux122 hue]# build/env
阅读全文
摘要：一、Hue概述 ### [数据交互工具-HUE] ~~~ [交互工具Hue_编译安装] ~~~ [交互工具Hue配置] ~~~ [交互工具Hue之整合Hadoop及Hive] ### Hue概述 ~~~ Hue(Hadoop User Experience)是一个开源的 Apache Hadoop
阅读全文
摘要：一、Hue编译安装 ### Hue编译安装 ~~~ Hue官方网站：https://gethue.com/ ~~~ HUE官方用户手册：https://docs.gethue.com/ ~~~ 官方安装文档：https://docs.gethue.com/administrator/installa
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、需求描述：针对销售数据，完成统计： ### 需求描述：针对销售数据，完成统计： ~~~ 按年统计销售额 ~~~ 销售金额在 10W 以上的订单 ~~~ 每年销售额的差值 ~~~ 年度订单金额前10位（年度、订单号、订单金额、排名） ~~~ 季度订单金额前10位（年度、季度、订单id、订单金额、排
阅读全文
摘要：一、SQL优化 ### SQL优化 ~~~ 列裁剪和分区裁剪 ~~~ 列裁剪是在查询时只读取需要的列；分区裁剪就是只读取需要的分区。 ~~~ 简单的说：select 中不要有多余的列，坚决避免 select * from tab; ### 查询分区表，不读多余的数据； select uid, eve
阅读全文
摘要：一、优化实战 ### 数据说明 ~~~ 学生信息表（student_txt）定义如下： ~~~ # 创建数据库 hive (default)> create database tuning; hive (default)> use tuning; ~~~ # 创建表 hive (tuning)> c
阅读全文
摘要：一、问题解答：问题1： ### 问题1：SQL执行过程中有多少个job（Stage） ~~~ 借助SQL的执行计划可以解答这个问题 hive (tuning)> explain insert overwrite table student_stat partition(tp) select s_ag
阅读全文
摘要：一、参数优化 ### 本地模式 ~~~ 当Hive处理的数据量较小时，启动分布式去处理数据会有点浪费， ~~~ 因为可能启动的时间比数据处理的时间还要长。 ~~~ Hive支持将作业动态地转为本地模式，需要使用下面的配置： SET hive.exec.mode.local.auto=true; --
阅读全文
摘要：一、文件存储格式对比测试 ### 说明： ~~~ 给 linux123 分配合适的资源。2core；2048G内存 ~~~ 适当减小文件的数据量（现有数据约800W，根据自己的实际选择处理100-300W条数据均可） ~~~ # 压缩的资源位置 [root@linux123 ~]# hdfs dfs
阅读全文
摘要：一、Hive调优策略 ~~~ [Hive优化策略之架构优化] ~~~ [Hive优化策略之本地模式，严格模式JVM重用] ~~~ [Hive优化策略之并行执行/推测执行/合并小文件及fetch模式] ~~~ [Hive优化策略之列分区裁剪/sortBy及groupBy] ~~~ [Hive优化策略之
阅读全文
摘要：一、数据存储格式 ~~~ [Hive存储机制之行列存储及TextFile] ~~~ [Hive存储机制ORC] ~~~ [Hive存储机制之Parquet] ~~~ [Hive元数据之文件格式对比] ### 数据存储格式 ~~~ Hive支持的存储数的格式主要有：TEXTFILE（默认格式） ~~~
阅读全文
摘要：一、HCatalog ### HCatalog ~~~ # HCatalog 提供了一个统一的元数据服务， ~~~ 允许不同的工具如 Pig、MapReduce 等通过 HCatalog 直接访问存储在 HDFS 上的底层文件。 ~~~ HCatalog是用来访问Metastore的Hive子项目，
阅读全文
