Hadoop - 随笔分类 - 坚守梦想

摘要：参考资料： https://blog.csdn.net/Student_xx/article/details/110536644 阅读全文

posted @ 2021-12-28 23:21 坚守梦想阅读(744) 评论(0) 推荐(0) 编辑

摘要：分区数=reducer数参考资料： https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver 思考： MapTask是怎么工作的？ ReduceTask是怎么工作的？ MapTask如何控制分区、排序？ MapT 阅读全文

posted @ 2021-12-22 00:20 坚守梦想阅读(127) 评论(0) 推荐(1) 编辑

Hadoop MapReduce解决的问题

摘要：1：解决分布式计算的通信问题（你怎么知道任务一有没有结束呢？） 2：解决了分布式计算资源调度问题（比如同时读取到一个文件） 3：解决了分布式计算容错问题（一个任务运行失败了，可以将这个任务的执行交给其他任务）参考资料：MapReduce概述和优缺点。（感谢尚硅谷，感谢大海哥） https://ww 阅读全文

posted @ 2021-12-21 23:41 坚守梦想阅读(269) 评论(0) 推荐(0) 编辑

hdfs namenode -format时报错

摘要：先说解决办法： hadoop3.1.3,用jdk1.8.0_301，格式化namenode的时候报错。最后按照尚硅谷的视频换成jdk1.8.0_212之后问题解决。（所以学习的时候最好还是按照视频里面版本来，不然浪费太多时间在环境上面了）尚硅谷的hadoop3.1.3学习地址： https:// 阅读全文

posted @ 2021-10-04 22:40 坚守梦想阅读(574) 评论(0) 推荐(0) 编辑

Hbase设置多个hmaster

摘要：Hbase设置多个hmaster https://www.cnblogs.com/prayer21/p/4866673.html 阅读全文

posted @ 2019-04-03 15:13 坚守梦想阅读(850) 评论(0) 推荐(0) 编辑

高可用hadoop的hdfs启动的时候namenode启动不了

摘要：启动的时候，一直要求输入namenode密码：查看namenode的日志如下： 2019-03-28 18:38:08,961 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: datanode1/192.168.197. 阅读全文

posted @ 2019-03-29 10:17 坚守梦想阅读(1495) 评论(0) 推荐(0) 编辑

ha环境下重新格式化hdfs报错

摘要：datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。查看datanode日志文件发现报错：一个报错Incompatible clusterIDs in /home/hadoop/data/datanode，需要删除core-site.xml中配置的h 阅读全文

posted @ 2019-03-26 00:00 坚守梦想阅读(445) 评论(0) 推荐(0) 编辑

hadoop ha环境下的datanode启动报错java.lang.NumberFormatException: For input string: "10m"

摘要：hadoop ha环境启动start-dfs.sh的时候datanode启动不了，并且报错。 [hadoop@datanode2 ~]$ cat /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-datanode-datanode2.log 2019-03-2 阅读全文

posted @ 2019-03-25 10:21 坚守梦想阅读(701) 评论(0) 推荐(0) 编辑

初始化ha环境下的hadoop的hdfs

摘要：1）启动zookeeper2）启动所有的journalnode[hadoop@datanode1 ~]$ ~/hadoop-2.7.3/sbin/hadoop-daemon.sh start journalnode 3）主节点执行初始化操作namenode1~/hadoop-2.7.3/bin/hd 阅读全文

posted @ 2019-03-25 09:30 坚守梦想阅读(1024) 评论(0) 推荐(0) 编辑

Could not determine own NN ID in namespace 'mycluster'

摘要：执行hdfs namenode -bootstrapStandby的时候报错如下 19/03/24 18:00:48 ERROR namenode.NameNode: Failed to start namenode.java.io.IOException: java.lang.IllegalSta 阅读全文

posted @ 2019-03-25 09:09 坚守梦想阅读(1566) 评论(0) 推荐(0) 编辑

外部无法访问虚拟机8088和50070端口

摘要：外部无法访问虚拟机8088和50070端口虚拟机内部可以访问hadoop的8088和50070端口，但是外部访问不了，可以ping通，那么肯定是防火墙的原因。 [hadoop@hmaster sbin]$ chkconfig --list （估计我是忘记了reboot，因为我发现我的iptable 阅读全文

posted @ 2019-01-12 23:28 坚守梦想阅读(4418) 评论(0) 推荐(1) 编辑

hadoop启动后jps查不到namenode的解决办法

摘要：hadoop启动后jps查不到namenode的解决办法原文转载至：https://www.cnblogs.com/lishpei/p/6136043.html 最近由于项目需要开始接触hadoop，在配置伪分布式启动后，jps查询进程发现少了namenode，而DataNode却存在。下面是我阅读全文

posted @ 2019-01-12 23:11 坚守梦想阅读(5179) 评论(0) 推荐(0) 编辑

随笔分类 - Hadoop