Hadoop操作

1、Hadoop几种运行模式？

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

2、SCP命令使用

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

3、rsync命令使用

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

4、rsync\SCP不同

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

5、DataNode和NameNode进程同时只能工作一个，排查方案。

（1）NameNode在初始化后会生成clusterid（集群id）
（2）DateNode在启动后也会生成和NameNode一样的clusterid（集群id）
（3）再次格式化NameNode,生成新的clusterid，与未删除的DataNode的clusterid不一致
（4）解决方法：在格式化之前，先删除DataNode里面的信息
（默认在/tmp，如果配置了该目录，那就去配置好的目录下删除数据）