摘要：
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。 Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。 阅读全文
摘要：
问题导读：1.... could only be replicated to 0 nodes, instead of 1 ...可能的原因是什么？2.Error: java.lang.NullPointerException错误的可能原因是什么？3.hadoop数据类型与Java数据类型不一致会产生 阅读全文
摘要：
问题导读：1.遇到问题该如何排除错误？2.看不到namenode的可能原因是什么？3.地址占用该如何解决？4.could only be replicatied to 0 nodes, instead of 1的可能原因是什么，该如何解决？5.通过localhost.localdomain根本无法映 阅读全文
摘要：
我们经常会遇到一些问题，而且可能会重复性遇到，这些方案可以收藏为以后备用。我们经常遇到如下问题：1.两次以上格式化造成NameNode 和 DataNode namespaceID 不一致，有几种解决办法？2.如何动态添加DataNode 动态将某个节点加入到集群中3.用window 提交eclip 阅读全文
摘要：
Hadoop2.x的Eclipse插件编译与安装 2015-06-16 16:05 by hduhans, 142 阅读, 0 评论, 收藏, 编辑 Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作，可以直接Eclipse中浏览HDFS上的文件，可以直接新建选择M 阅读全文
摘要：
如果你是位具有开发经丰富的工程师，在开发的过程中，你就会很强烈的要求快捷的编程。如何快捷编程，只有更加熟悉开发工具。那么eclipse是同样也有很多技巧。可以带着下面问题来阅读1.如何查找类相关信息？2.如何自动补全代码？3.如何格式化代码？4.如何快捷添加注释？5.如何生成get set方法？6. 阅读全文
摘要：
问题导读1.改变hdfs文件的权限，需要修改哪个配置文件？2.获取一个文件的或则目录的权限，哪个命令可以实现？3.哪个命令可以实现设置访问控制列表（ACL）的文件和目录？接上篇：Hadoop【2.7.1】初级入门之命令：文件系统shell1http://www.aboutyun.com/thread 阅读全文
摘要：
问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处？2.如何改变文件所属组？3.如何改变hdfs的文件权限？4.如何查找hdfs文件，并且不区分大小写？概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File Syst 阅读全文
摘要：
问题导读1.hadoop daemonlog管理员命令的作用是什么？2.hadoop如何运行一个类，如何运行一个jar包？3.hadoop archive的作用是什么？概述hadoop命令被bin/hadoop 脚本调用. 运行hadoop脚本不带任何命令将打印命令相关描述。Usage: hadoo 阅读全文
摘要：
问题导读1.如何实现检测NodeManagers健康？2.配置ssh互信的作用是什么？3.启动、停止hdfs有哪些方式？上篇：hadoop【2.7.1】【多节点】集群配置【必知配置知识1】http://www.aboutyun.com/thread-15609-1-1.html监控NodeManag 阅读全文