hadoop更换硬盘
hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin 日志位置:/var/log/hadoop)
1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。如果有,执行hadoop-daemon.sh stop tasktracker,停止TaskTracker进程。
2.切换到hdfs用户,执行jps命令,查看是否有DataNode进程。如果有,执行hadoop-daemon.sh stop datanode,停止DataNode进程。
3.卸载硬盘umount /dataX.
4.格式化新硬盘成ext4格式(分区/fdisk或者parted格式化)
fdisk -l /dev/sdX
n
p
默然选择1分区.其他的都保持默认
最后w,保存
格式化为ext4: mkfs.ext4 /dev/sdX1
挂载:mount /dev/sdX1 /dataX
然后blkid /dev/sdX1 把获取到的UUID替换对应的坏掉的硬盘的UUID,位置(/etc/fstab)
5.创建DataNode,TaskTracker使用目录。mkdir -p /dataX/dfs; mkdir -p /dataX/mapred; mkdir -p /dataX/tmp; (或者直接cd /dataX; mkdir {dfs,mapred,tmp} )
6.为DataNode,TaskTracker使用目录赋予正确权限(mapreduce运行程序的用户为mapred)。chown -R hdfs:hadoop /dataX/dfs;chown -R mapred:hadoop /dataX/mapred ;chown -R mapred:hadoop /dataX/tmp ;chown hdfs:hadoop /dataX
7.切换到hdfs用户,执行hadoop-daemon.sh start datanode,启动DataNode进程。
8.切换到mapred用户,执行hadoop-daemon.sh start tasktracker,启动TaskTracker进程。
9.查看启动日志,观察一段时间判断服务是否正常。