WordCount案例教学会遇到的bug
Published on 2024-03-01 21:46 in 暂未分类 with nikini

WordCount案例教学会遇到的bug

《尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放》P74-78 会遇到的bug

  • Windows机上未配置Hadoop_HOME环境变量。
    解决方法: 需要通过winutils来虚拟hadoop在windows的环境。
  • Windows的IDEA中的所创建wc项目的jdk版本,与Linux虚拟机上的版本不一致,导致在虚拟机集群上,hadoop jar wc.jar报错。
    解决方法:更换windows机IDEA中的JDK版本(需与hadoop集群中的java版本一致)。tips: java版本不可太高,不然hadoop的resourceManger会启动报错。
  • 当上方两个bug都不存在时,报错传入参数类型错误。 ​
    解决方法:需要更改WordCountDriver.class 中的方法参数。

    白色框中的args[0] and args[1];其实是一种泛型参数,在hadoop集群中运行时,需要传入hdfs的input路径和(未被创建的)output路径。
  • 在hadoop集群上运行wc.jar多次,导致output已被创建,但未删除,而报错:传入路径已存在。 ​
    解决方法: 删除output路径。(hadoop -rm -r $output_Path)
posted @   nikini  阅读(14)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· AI与.NET技术实操系列(六):基于图像分类模型对图像进行分类
点击右上角即可分享
微信分享提示