摘要:
第1章 Shell概述 大数据程序员为什么要学习Shell呢? 1)需要看懂运维人员编写的Shell程序。 2)偶尔会编写一些简单Shell程序来管理集群、提高开发效率。 第2章 Shell解析器 (1)Linux提供的Shell解析器有: [root@node01 ~]# cat /etc/she 阅读全文
摘要:
第11章 常见错误及解决方案 1)SecureCRT 7.3出现乱码或者删除不掉数据,免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2)连接不上mysql数据库 (1)导错驱动包,应该把mysql-connector-java-5.1.27-bin.jar导 阅读全文
摘要:
第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标,各种TopN指标: --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top1 阅读全文
摘要:
第9章 企业级调优 9.1 Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-de 阅读全文
摘要:
第8章 压缩和存储 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1.CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2.jar包准备(hadoop源码、JDK 阅读全文
摘要:
1 你是如何实现 Flume 数据传输的监控的 使用第三方框架 Ganglia 实时监控 Flume。 2 Flume 的 Source,Sink,Channel 的作用?你们 Source 是什么类型? 1、作用 (1)Source 组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据, 阅读全文
摘要:
第 4 章 Flume 监控之 Ganglia 4.1 Ganglia 的安装与部署 1) 安装 httpd 服务与 php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2) 安装其他依赖 [atguigu@hadoop102 f 阅读全文
摘要:
第 3 章 企业开发案例 注释:一下hadoop102、hadoop103、hadoop104 分别由 node01、node03、node04 代替 3.1 监控端口数据官方案例 1)案例需求:首先,Flume 监控本机 44444 端口,然后通过 telnet 工具向本机 44444 端口发 送 阅读全文
摘要:
第 1 章 概述 1.1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、 聚合和传 输的系统。Flume 基于流式架构,灵活简单。 1.2 Flume 组成架构 Flume 组成架构如图 1-1,图 1-2 所示: 图 1-1 Flume 组 阅读全文