摘要：
第1章 Shell概述 大数据程序员为什么要学习Shell呢？ 1）需要看懂运维人员编写的Shell程序。 2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。 第2章 Shell解析器 （1）Linux提供的Shell解析器有： [root@node01 ~]# cat /etc/she 阅读全文
摘要：
第11章 常见错误及解决方案 1）SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2）连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导 阅读全文
摘要：
第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top1 阅读全文
摘要：
第9章 企业级调优 9.1 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-de 阅读全文
摘要：
第8章 压缩和存储 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1．CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2．jar包准备(hadoop源码、JDK 阅读全文
摘要：
1 你是如何实现 Flume 数据传输的监控的 使用第三方框架 Ganglia 实时监控 Flume。 2 Flume 的 Source，Sink，Channel 的作用？你们 Source 是什么类型？ 1、作用 （1）Source 组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据， 阅读全文
摘要：
第 4 章 Flume 监控之 Ganglia 4.1 Ganglia 的安装与部署 1) 安装 httpd 服务与 php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2) 安装其他依赖 [atguigu@hadoop102 f 阅读全文
摘要：
第 3 章 企业开发案例 注释：一下hadoop102、hadoop103、hadoop104 分别由 node01、node03、node04 代替 3.1 监控端口数据官方案例 1）案例需求：首先，Flume 监控本机 44444 端口，然后通过 telnet 工具向本机 44444 端口发 送 阅读全文
摘要：
第 1 章 概述 1.1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、 聚合和传 输的系统。Flume 基于流式架构，灵活简单。 1.2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 图 1-1 Flume 组 阅读全文