随笔 - 597  文章 - 4  评论 - 445  阅读 - 424万

eclipse工具下hadoop环境搭建

eclipse工具下hadoop环境搭建:
    window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。
    1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件夹中。
    2、重启eclipse工具。打开eclipse工具以后,找到如下位置,打开map/reduce。


    3、切换视图到MapReduce视图下面,配置连接信息。

  注意:

    a、location name自己随便起名称。

    b、Host是你想要连接的主机ip地址。

    c、第一个Port=50020默认即可,第二个Port是自己配置core-site.xml文件的时候配置的端口号。               


 然后就可以查看hdfs上面的文件信息了,如下所示:

   4、进行上传和下载验证是否安装成功。

     注意:上传的文件必须是utf-8格式的,window保存文本默认是ANSI格式的,所以需要注意。

上传文件到hdfs的时候遇到如下所示的问题:Permission denied:user=,access=WRITE,inode=""。而且创建文件夹也会不显示,按照提示应该是权限的问题。解决方法如下所示:

解决方法如下所示,记住解决完以后,创建文件或者文件夹记住刷新,不是自动刷新结构的

<property>    
    <name>dfs.permissions</name>    
    <value>false</value>    
</property>   

 如果上传的文件是utf-8格式的,但是在eclipse打开以后显示的是乱码的,做如下修改即可:

 

posted on   别先生  阅读(553)  评论(0编辑  收藏  举报
编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示