2019年2月19日
运行mapreduce
摘要： 运行mapreducemap 映射reduce 规约 [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 阅读全文
posted @ 2019-02-19 22:57 任重而道远的小蜗牛 阅读(178) 评论(0) 推荐(0) 编辑
查看hadoop日志的方法
摘要： 查看日志的方法 hadoop-hadoop-datanode-hadoop002.loghadoop-用户-进程名称-机器名称hadoop日志分为log日志和out日志，我们基本上只看log日志[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd logs/[ha 阅读全文
posted @ 2019-02-19 21:43 任重而道远的小蜗牛 阅读(12895) 评论(0) 推荐(0) 编辑
jps命令的使用和pid文件的注意事项
摘要： 2.jps命令的真相2.1位置哪里的[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.8.0_45/bin/jps 2.2对应的进程的标识文件在哪 /tmp/hsperfdata_进程用户名称 [hadoop@hado 阅读全文
posted @ 2019-02-19 21:31 任重而道远的小蜗牛 阅读(737) 评论(0) 推荐(0) 编辑
构建ssh信任关系
摘要： 构建ssh信任关系 之前的配置也是可以的，但是我们为了统一 重新再来一次配置[hadoop@hadoop002 ~]$ rm -rf .ssh[hadoop@hadoop002 ~]$ ssh-keygenGenerating public/private rsa key pair.Enter fi 阅读全文
posted @ 2019-02-19 21:16 任重而道远的小蜗牛 阅读(271) 评论(0) 推荐(0) 编辑
hdfs的部署
摘要： 1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， 阅读全文
posted @ 2019-02-19 21:02 任重而道远的小蜗牛 阅读(1055) 评论(0) 推荐(0) 编辑
yarn的部署
摘要： Yarn: 资源和作业调度 是需要部署的 MapReduce on Yarn http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html查看以下内容的官网 Configure pa 阅读全文
posted @ 2019-02-19 20:18 任重而道远的小蜗牛 阅读(1001) 评论(0) 推荐(0) 编辑