会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
首页
联系
Github
友情链接
博客园
管理
关于我
暂未分类
nikiL
博客园
首页
新随笔
联系
订阅
管理
WordCount案例教学会遇到的bug
《尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放》P74-78 会遇到的bug
Windows机上未配置Hadoop_HOME环境变量。
解决方法: 需要通过winutils来虚拟hadoop在windows的环境。
Windows的IDEA中的所创建wc项目的jdk版本,与Linux虚拟机上的版本不一致,导致在虚拟机集群上,hadoop jar wc.jar报错。
解决方法:更换windows机IDEA中的JDK版本(需与hadoop集群中的java版本一致)。tips: java版本不可太高,不然hadoop的resourceManger会启动报错。
当上方两个bug都不存在时,报错传入参数类型错误。
解决方法:需要更改WordCountDriver.class 中的方法参数。
白色框中的args[0] and args[1];其实是一种泛型参数,在hadoop集群中运行时,需要传入hdfs的input路径和(未被创建的)output路径。
在hadoop集群上运行wc.jar多次,导致output已被创建,但未删除,而报错:传入路径已存在。
解决方法: 删除output路径。(hadoop -rm -r $output_Path)
posted @
2024-03-01 21:46
nikini
阅读(
12
) 评论(
0
)
编辑
收藏
举报
刷新页面
返回顶部
公告
点赞
关注
收藏
←
→
↓
↑
-->