智传播客hadoop视频学习笔记(共2天)
第一天：
1、答疑解惑
• 就业前景
• 学习hadoop要有什么基础
• hadoop会像塞班一样，热一阵子吗
• hadoop学习起来容易还是困难
• 课堂上的学习方法（所有实验必须按照要求做，重原理、重实践）
• 通过本课程能学到什么
2、 课程简介
• 以真实的电信详单分析程序为主线，讲解Hadoop，Hbase，Hive在大数据处理的应用场景与过程
• 通过此课程，你能
• 掌握Hadoop基本知识，进行HadoopHDFS和MapReduce应用开发，搭建Hadoop集群
• 掌握Hbase基本知识，搭建Hbase集群，Hbase的基本操作
• 掌握数据仓库基本知识，用Hive建立数据仓库，并进行多维分析
3、7天课程体系
• Day1 单间伪分布和分布式实验环境
• Day2 介绍HDFS体系结构及shell、java操作方式
• Day3 介绍MapReduce系统结构及各种算法(1)
• Day4 介绍MapReduce系统结构及各种算法(2)
• Day5 介绍Hadoop集群、ZooKeeper操作
• Day6 介绍HBase体系结构及基本操作
• Day7 介绍Hive、sqoop体系结构及基本操作和最后项目
4、学习hadoop的就业前景
5、第一天 课程安排
• Hadoop项目简介*
• 搭建Hadoop的伪分布环境***
• 使用Eclipse查看Hadoop源码*
6、LOGO
7、 Hadoop的生态图
（3）File System：HDFS，相当于windows下的资源管理器，存储文件的管理系统（5）Engine+Logic：MapReduce，对来自于HDFS的数据进行计算。
（1）浏览器
（2）Nutch
（6）Unstructured Data ：非结构化数据，Flume、Scribe，收集日志
（7）Structured Data：结构化数据，RDBM，存储在表中的数据，hiho，Sqoop。
（14）HBase：OLTP，在线处理应用，低延迟
（11）Monitor/manage：监控管理器，Hue，Eclipse
（8）High Level Interfaces：高级别接口，JAQL，数据流处理语言，Hive
（12）Support：底层支持化工具
（10）Workflow：工作流
（13）More High Level Interfaces：更高级别接口，mahout，封装了的算法，amazon
（4）作为终端的BI的东西
8、Hadoop是什么？
适合大数据的分布式存储与计算平台
• 作者：Doug Cutting
• 受Google三篇论文的启发
9、版本
• Apache
官方版本(1.1.2)
• Cloudera
使用下载最多的版本，稳定，有商业支持，在Apache的基础上打上了一些patch。推荐使用。
• Yahoo
Yahoo内部使用的版本，发布过两次，已有的版本都放到了Apache上，后续不在继续发布，而是集中在Apache的版本上。
10、Hadoop核心项目
• HDFS：Hadoop Distributed File System 分布式文件系统
• MapReduce：并行计算框架
11、HDFS的架构
• 主从结构
• 主节点，只有一个：namenode
• 从节点，有很多个：datanode
• namenode负责：
• 接收用户操作请求
• 维护文件系统的目录结构
• 管理文件与block之间关系，block与datanode之间关系
• datanode负责：
• 存储文件
• 文件被分成block存储在磁盘上
• 为保证数据安全，文件会有多个副本
12、MapReduce的架构
• 主从结构
• 主节点，只有一个：JobTracker
• 从节点，有很多个：TaskTracker
• JobTracker负责：
• 接收客户提交的计算任务
• 把计算任务分给TaskTracker执行
• 监控TaskTracker的执行情况
• TaskTracker负责：
• 执行JobTracker分配的任务
13、Hadoop的特点
• 扩容能力(Scalable)：能可靠地（reliably）存储和处理千兆字节（PB）数据。
• 成本低（Economical）：可以通过普通机器组成的服务器群来分布以及处理数据。这些服务器群总计可达数千个节点。
• 高效率（Efficient）：通过分布数据，Hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。
• 可靠性（Reliable）:hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署(redeploy)计算任务。
14、Hadoop集群的物理分布
跨虚拟机通信：WebServe。
15、单节点物理结构
16、Hadoop部署方式
• 本地模式
• 伪分布模式
• 集群模式
17、安装前准备软件
• Vitual Vox
• rhel-server-6.3-i386-dvd.iso
• jdk-6上-linux-xxx.bin
• hadoop-1.1.2.tar.gz
18、伪分布模式安装步骤
• 关闭防火墙
• 修改ip
• 修改hostname
• 设置ssh自动登录
• 安装jdk
• 安装hadoop
*****网络连接方式
1、宿主机(windows)与客户机（安装在虚拟机中的linux）网络连接
1.1 host-only 宿主机与客户机单独组网。
好处：网络隔离
坏处：虚拟机与其他服务器之间不能通信
需要将VMnet1适配器打开
1.2 bridge 客户机与宿主机在同一个局域网中。
好处：都在同一个局域网，可以互相访问
坏处：不安全
19、常用linux命令
20、hadoop的伪分布安装步骤
【使用root用户登陆】
20.1 设置静态ip
• 在centos桌面右上角的图标上，右键修改。
• 重启网卡，执行命令service network restart
• 验证：执行命令ipconfig
20.2 修改主机名
• 修改当前会话中的主机名，执行命令hostname hadoop
• 修改配置文件中的主机名，执行命令 vi /etc/sysconfig/network
• 重启机器 reboot -h now
20.3 把主机名和ip绑定起来
• 执行命令vi /etc/hosts，增加一行内容，如下：
192.168.22.100 hadoop-yang
• 验证：ping hadoop-yang
20.4 关闭防火墙
• 执行命令 service iptables stop
• 验证： service iptables status
20.5 关闭防火墙的自动运行
• 查看所有进程 chkconfig –list
• 执行命令 chkconfig iptables off
• 验证：chkconfig –-list | grep iptables
20.6 SSH（secure shell）的免密码登陆
• 执行命令ssh-keygen -t rsa 产生密钥，位于~/.ssh文件夹中
• 执行命令 cp ~/.ssh/id_rsa.pub authorized_keys
• 验证 ssh localhost
20.7 安装jdk
• 执行命令rm -rf /usr/local/* 删除所有内容
• 使用工具winscp把jdk文件从windows复制到/usr/local目录下
• 执行命令 chomd u+x jdk-6u24-linux-i586.bin 授予执行权限
• 执行命令 ./jdk-6u24-linux-i586.bin解压缩
• 执行命令 mv jdk1.6.0_24 jdk 重命名
• 执行命令vi /etc/profile 设置环境变量，增加了2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
执行source /etc/profile
• 验证：java -version
20.8 安装hadoop
• 执行命令 tar –zxvf hadoop-1.1.2.tar.gz 进行解压缩
• 执行命令mv hadoop-1.1.2 hadoop 重命名
• 执行命令 vi /etc/profile 设置环境变量，增加了1行内容
export HADOOP_HOME=/usr/local/hadoop
修改了1行内容
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
执行命令source /etc/profle让该设置立即生效
• 修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下
修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hadfs-site.xml、mapred-site.xml。具体内容看PPT P23
【hadoop-env.sh的修改内容如下】
export JAVA_HOME=/usr/local/jdk
【core-site.xml的修改内容如下】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
【hdfs-site.xml的修改内容】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
【mapred-site.xml的修改内容】
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
• 执行命令hadoop namenode –format 对hadoop进行格式化
• 执行命令start-all.sh进行启动
• 验证：(1)执行命令jps，发现5个java进程，分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker。
• 通过浏览器http://lcoalhost:50070 和 http://localhost:50030
可以修改windows的C:\Windows\System32\drivers\etc\hosts文件******
20.9 NameNode进程没有启动成功？
• 没有格式化
• 配置文件只copy，不修改
• hostname与ip没有绑定
• SSH的免密码登陆没有配置成功
20.10 多次格式化hadoop也是错误的？
• 方法：删除/usr/local/hadoop/tmp文件夹，重新格式化，因为可能版本不一致。
第二天
1、课程安排
• 分布式文件系统与HDFS
• HDFS体系结构与基本概念***
• HDFS的shell操作***
• java接口及常用api***
加深拓展
• RPC调用**
• HDFS的分布式存储架构的源码分析**
2、Distributed File System
• 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。
• 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
• 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。
• 容错。即使系统中有些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。
• 分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况小文件不合适。
3、HDFS的shell操作：
3.1对hdfs的操作方式：hadoop fs xxx
hadoop fs -ls / 查看hdfs的根目录下的内容的
hadoop fs -lsr / 递归查看hdfs的根目录下的内容的
hadoop fs -mkdir /d1 在hdfs上创建文件夹d1
hadoop fs -put <linux source> <hdfs destination> 把数据从linux上传到hdfs的特定路径中
hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下
hadoop fs -text <hdfs文件> 查看hdfs中的文件
hadoop fs -rm 删除hdfs中文件
hadoop fs -rmr 删除hdfs中的文件夹
hadoop fs -ls hdfs://hadoop0:9000/
3.2、HDFS的datanode在存储数据时，如果原始文件大小 > 64MB,按照64MB大小切分；如果 < 64MB，只有一个block，占用磁盘空间是源文件实际大小。
4、Namenode
• 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
• 文件包括：
• fsimage：元数据镜像文件。存储某一时段NameNode内存元数据信息。
• edits：操作日志文件。
• fstime：保存最近一次checkpoint的时间。
• 以上这些文件是保存在linux的文件系统中。
5、SecondaryNameNode
• HA的一个解决方案。但不支持热备。配置即可。
• 执行过程：从NameNode上下载元数据信息(fsimage,edits)，然后把二者合并，生成信息的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的edits。
• 默认在安装在NameNode节点上，但这样…不安全！
6、Datanode
• 提供真实文件数据的存储服务。
• 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是64MB，以一个256MB文件，共有256/4=4个Block。
• 不同于普通文件的系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。
• Replication。多复本。默认是三个。
7、使用浏览器查看HDFS目录结构
http://localhost:50070 只能看不能写
8、使用java操作HDFS
Alt + Shift + M : 创建方法
Alt + Shift + L ： 创建局部变量
例子1：
package hdfs;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class App1{
public static final String HDFS_PATH = "hdfs://localhost:9000/hello";
public static void main(String[] args) throws Exception{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
final URL url = new URL(HDFS_PATH);
final InputStream in = url.openStream();
Object system;
/* @param in 输入流
* @param out 输出流
* @param buffSize 缓冲区大小
* @param close 是否关闭流
*/
IOUtils.copyBytes(in,System.out ,1024,true);
}
}
例子2：
package hdfs;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
/*使用一个类FileSystem*/
public class App2{
public static void main (String[] args) throws Exception{
public static final String HDFS_PATH = “hadfs://localhost:9000”
public static final String DIR_PATH =”/d1000”;
public static final String FILE_PATH = “/d1000/f1000”
final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
//创建文件夹
fileSystem.mkdirs(new Path(DIR_PATH));
//上传文件
final FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
final FileInputStream in = new FileInputStream(“c:/log.txt”);
IOUtils.copyBytes(in,out,1024,true);
//下载文件
final FSDataInputStream in = fileSystem.open(new Path(FILE_PATH));
IOUtils.copyBytes(in,System.out,1024,true);
//删除文件(夹)
fileSystem.delete(new Path(FILE_PATH),true);
}
}
9、RPC(remote procedure call)
• 不同java进程间的对象方法的调用。
• 一方称作服务端(server)，一方称为客户端(client)。server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。
• RPC是hadoop框架运行的基础。
例子3：服务器端：
package rpc;
import org.apache.hadoop.ipc.VersionedProtocol;
public interface MyBizable extends VersionedProtocol{
public static final Long VERSION = 2453245L;
public abstract String hello(String name);
}
package rpc;
import java.io.IOException;
import org.apache.hadoop.ipc.VersionedProtocol;
public class MyBiz implements VersionedProtocol,MyBizablen{
public String hello(String name){
System.out.println(“我被调用了！”);
return “hello”+name;
}
public long getProtocolVersion(String protocol,long clientVersion) throws IOException{
return MyBizable.VERSION;
}
}
package rpc;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC.Server;
public class MyServer{
public static final String SERVER_ADDRESS = “localhost”;
public static final int SERVER_PORT = MyBizable.VERSION;
public static void main(String[] args) throws Exception{
/*
* 构造一个RPC Server。
* instance 实例中的方法会被客户端调用
* binAddress 绑定的这个地址用于监听连接的到来
* port 绑定的这个端口用于监听连接的到来
*
RPC.getServer(new MyBiz(), SERVER_ADDRESS,SERVER_PORT,new Configuration());
server.start();
}
}
例子4：客户端：
package rpc;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC.VersionedProtocol;
public class MyClient{
public static void main(String[] args) throws Exception{
/*构造一个客户端的代理对象。*/
final MyBiz proxy = (MyBizable)RPC.waitForProxy(MyBizable.class,234534343L,new InetSocketAddress(MyServer.SERVER_ADDRESS,MyServer.SERVER_PORT),new Configuration());
final String result = proxy.hello(“world”);
system.out.println(“客户端调用结果：”+result);
RPC.stopProxy(proxy);
}
}
9.1、通过rpc小例子获得的认识？
• 服务端提供的对象必须是一个接口，接口extends VersioinedProtocal
• 客户端能够的对象中的方法必须位于对象的接口中。
