摘要：
五、MapReduce进阶编程 目录： 1.筛选日志文件并生成序列化文件 2.Hadoop Java API读取序列化日志文件 3.优化日志文件统计程序 4.Eclipse提交日志文件统计程序 5.小结 6.实训 7.小练习 任务背景：网站运营方又提出来新的需求，为了比较今年与去年同期的用户访问数据 阅读全文
摘要：
第四章、MapReduce编程入门 目录结构 1.使用Eclipse建立MapReduce工程 1.1 下载与安装Eclipse 1.2 配置MapReduce环境 1.3 新建MapReduce工程 2.通过源码初识MapReduce工程 2.1 通俗理解MapReduce原理 2.2 了解MR实 阅读全文
摘要：
本章来记录一下Eclipse安装hadoop插件、配置MapReduce环境并新建一个MapReduce工程的过程 0.现有环境： Eclipse(Windows 本地系统的) 云服务器(已经配置好了Hadoop开发环境和集群) 1.安装插件： hadoop-eclipse-plugin-2.7.3 阅读全文
摘要：
第三章、Hadoop基础操作 目录结构： 1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息 2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 2.3 任务实现 3.运行首个MapReduce任务 3.1 了解H 阅读全文
摘要：
在第四节中进入50070端口后可以显示界面，其实在这时并不一定配置好了 下面我将遇到的一些问题记录下来,并作为更新帖，以后出现问题再添加： 1.由于hdfs namenode -format指令的重复使用 使 /hadoop/hdfs/data/current 下 与 /hadoop/hdfs/na 阅读全文
摘要：
四、Hadoop集群启动 在配置完成Hadoop集群后，我们可以手动启动集群及相关服务 1.启动集群(在sbin目录下执行下面指令，如果集群是第一次启动可以用第一种，常用的启动方式是一个一个的守护进程启动)： 2.关闭集群(在sbin目录下执行下面指令，两种方式均可) 3.小练习 (1)集群启动的顺 阅读全文
摘要：
二、Hadoop集群的搭建及配置 本章内容见【Hadoop开发环境搭建】系列： 【Hadoop开发环境搭建】一、Linux环境下JDK安装和配置 【Hadoop开发环境搭建】二、Hadoop安装与配置 【Hadoop开发环境搭建】三、Hadoop集群搭建 【Hadoop开发环境搭建】四、Hadoop 阅读全文
摘要：
目录结构 1.Hadoop概述 1.1 Hadoop简介 1.2 Hadoop发展史 1.3 Hadoop特点 2.Hadoop核心 2.1 分布式文件系统——HDFS 2.2 分布式计算框架——MapReduce 2.3 集群资源管理器——YARN 3.Hadoop生态系统 4.Hadoop应用场 阅读全文
摘要：
三、Hadoop集群搭建 在上篇中记录了Hadoop安装与配置，在本篇中，介绍一下Hadoop集群的搭建 1.现有环境 三台云服务器（Linux系统、JDK1.8、Hadoop 2.2.7） 2.关闭防火墙、修改IP、修改hostname、修改host文件 (1)查看防火墙状态 显示active状态 阅读全文
摘要：
在上篇中介绍了Linux环境下JDK的安装与环境配置，本篇记录了Hadoop的安装配置过程 二、Hadoop安装与配置 1.现有工具及文件 ①Xmanager Enterprise 5（其中的Xftp可用于实现不同IP地址间文件的互传，也可以实现Linux文件目录的可视化） ②hadoop-2.7. 阅读全文