WordCount案例教学会遇到的bug

《尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放》P74-78 会遇到的bug

  • Windows机上未配置Hadoop_HOME环境变量。
    解决方法: 需要通过winutils来虚拟hadoop在windows的环境。
  • Windows的IDEA中的所创建wc项目的jdk版本,与Linux虚拟机上的版本不一致,导致在虚拟机集群上,hadoop jar wc.jar报错。
    解决方法:更换windows机IDEA中的JDK版本(需与hadoop集群中的java版本一致)。tips: java版本不可太高,不然hadoop的resourceManger会启动报错。
  • 当上方两个bug都不存在时,报错传入参数类型错误。 ​
    解决方法:需要更改WordCountDriver.class 中的方法参数。

    白色框中的args[0] and args[1];其实是一种泛型参数,在hadoop集群中运行时,需要传入hdfs的input路径和(未被创建的)output路径。
  • 在hadoop集群上运行wc.jar多次,导致output已被创建,但未删除,而报错:传入路径已存在。 ​
    解决方法: 删除output路径。(hadoop -rm -r $output_Path)
posted @ 2024-03-01 21:46  nikini  阅读(10)  评论(0编辑  收藏  举报