摘要:
Hadoop2.x的Eclipse插件编译与安装 2015-06-16 16:05 by hduhans, 142 阅读, 0 评论, 收藏, 编辑 Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择M 阅读全文
摘要:
本文为操作指导1.如何引用外部包?2.使用插件开发端口如何设置?如果你已经比较熟悉了,可以思考:1.hadoop脱离集群开发,加入外部包的作用是什么?2.Hadoop eclipse plugin的作用是什么,自己能否设计一个Hadoop eclipse plugin,该如何开发和设计?在我们的传统 阅读全文
摘要:
如果你是位具有开发经丰富的工程师,在开发的过程中,你就会很强烈的要求快捷的编程。如何快捷编程,只有更加熟悉开发工具。那么eclipse是同样也有很多技巧。可以带着下面问题来阅读1.如何查找类相关信息?2.如何自动补全代码?3.如何格式化代码?4.如何快捷添加注释?5.如何生成get set方法?6. 阅读全文
摘要:
问题导读1.改变hdfs文件的权限,需要修改哪个配置文件?2.获取一个文件的或则目录的权限,哪个命令可以实现?3.哪个命令可以实现设置访问控制列表(ACL)的文件和目录?接上篇:Hadoop【2.7.1】初级入门之命令:文件系统shell1http://www.aboutyun.com/thread 阅读全文
摘要:
问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处?2.如何改变文件所属组?3.如何改变hdfs的文件权限?4.如何查找hdfs文件,并且不区分大小写?概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File Syst 阅读全文
摘要:
问题导读1.hadoop daemonlog管理员命令的作用是什么?2.hadoop如何运行一个类,如何运行一个jar包?3.hadoop archive的作用是什么?概述hadoop命令被bin/hadoop 脚本调用. 运行hadoop脚本不带任何命令将打印命令相关描述。Usage: hadoo 阅读全文
摘要:
问题导读1.如何实现检测NodeManagers健康?2.配置ssh互信的作用是什么?3.启动、停止hdfs有哪些方式?上篇:hadoop【2.7.1】【多节点】集群配置【必知配置知识1】http://www.aboutyun.com/thread-15609-1-1.html监控NodeManag 阅读全文
摘要:
问题导读1.说说你对集群配置的认识?2.集群配置的配置项你了解多少?3.下面内容让你对集群的配置有了什么新的认识?目的目的1:这个文档描述了如何安装配置hadoop集群,从几个节点到上千节点。为了学习hadoop,你可能先从单节点入手 (查看 Single Node Setup).这里有中文版had 阅读全文
摘要:
问题导读1.从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么?2.单机是否是伪分布?3.本地模式是否可以运行mapreduce?hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是: 本 阅读全文
摘要:
问题导读:1.hadoop2.x自带wordcount在什么位置?2.运行wordcount程序,需要做哪些准备?此篇是在hadoop2完全分布式最新高可靠安装文档hadoop2.X使用手册1:通过web端口查看主节点、slave1节点及集群运行状态基础上对hadoop2.2的进一步认识。这里交给大 阅读全文
摘要:
问题导读: 1.DataNode的http服务的端口、ipc服务的端口分别是哪个? 2.NameNode的http服务的端口、ipc服务的端口分别是哪个? 3.journalnode的http服务的端口、ipc服务的端口分别是哪个? 4.ResourceManager的http服务端口是哪个? 5. 阅读全文
摘要:
问题导读:1.如何通过web查看hdfs集群状态2.如何通过web查看运行在在主节点master上ResourceManager状态3.如何通过web查看运行在在slave节点NodeManager资源状态 4.JobHistory 可以查看什么信息本文是在hadoop2的基础上hadoop2完全分 阅读全文
摘要:
问题导读:1.如何配置各个节点之间无密码互通?2.启动hadoop,看不到进程的原因是什么?3.配置hadoop的步骤是什么?4.有哪些配置文件需要修改?5.如果没有配置文件,该如何找到该配置文件?6.环境变量配置了,但是不生效的原因是什么?7.如何查看hadoop2监控页面 首先说一下这个安装过程 阅读全文