2014 年 7月 11 日随笔档案 - 晋心

2014年7月11日

摘要： "error: failure to login"问题http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.htmlDFS Locations 本人这次的编译环境是linuxmint15 64bit，与上文的编译环境win2003不同了... 阅读全文

posted @ 2014-07-11 16:37 晋心阅读(303) 评论(0) 推荐(0) 编辑

eclipse调试hadoop2.2.0源码笔记

摘要：在hadoop1.x版本时使用的是在Windows下编译Eclipse插件，远程调试集群。换成2.2.0，没有eclipse-plugin文件。 hadoop2.2.0“远程调试集群”，是指调试NameNode/DataNode，JobTracker/Tasktracker，ResourceMan... 阅读全文

posted @ 2014-07-11 16:36 晋心阅读(205) 评论(0) 推荐(0) 编辑

ubuntu配置

摘要：首先就是Ubuntu的更新源问题，需要更改，否则更新不了。其次就是Securecrt的远程登陆问题，windows主机和ubuntu虚拟机如果能通信，要求在同一网段上，而ubuntu是动态加载，需要手动更改成二者在同一网段上。网上好多更改网址的方法，经过验证，以下的方法是最好的:1. 配置静态ip地... 阅读全文

posted @ 2014-07-11 16:36 晋心阅读(239) 评论(0) 推荐(0) 编辑

Hadoop编译方法

摘要：伪分布式：hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码（同步跟踪最新源代码）mvn checkout http://svn.apache.org/repos/asf/hadoop/c... 阅读全文

posted @ 2014-07-11 16:35 晋心阅读(331) 评论(0) 推荐(0) 编辑

hadoop配置遇到问题的解决

摘要： 1. ssh localhost: 不能登陆：将错误提示中的文件全部删除。原因：登陆过远程主机2. 问题：伪分布式datanode启动不了：在datanode的log日志文件出现以下错误提示： ERROR org.apache.hadoop.metrics2.impl.MetricsSystemI... 阅读全文

posted @ 2014-07-11 16:32 晋心阅读(5075) 评论(0) 推荐(0) 编辑

Hama安装及示例运行

摘要： Hama介绍Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。BSP概念由Valiant（2010图灵奖获得者）在1990年提出，具体参看wikipedia。Google... 阅读全文

posted @ 2014-07-11 16:32 晋心阅读(583) 评论(0) 推荐(0) 编辑

HADOOP集群配置

摘要： http://wenku.baidu.com/view/92cbe435eefdc8d376ee32eb.htmlhttp://www.infoq.com/cn/articles/hadoop-config-tipssh正确配置：http://wenku.baidu.com/view/dfccb8e... 阅读全文

posted @ 2014-07-11 16:30 晋心阅读(208) 评论(0) 推荐(0) 编辑

eclipse导入/编译hadoop源代码

摘要： 1. 确保安装好JDK和eclipse 详细教程见： http://blog.csdn.net/kangdakangdaa/article/details/113649852. 安装 Subclipse（Eclipse 的 SVN 插件）用于从 Hadoop 获得源代码。我们使用 eclipse ... 阅读全文

posted @ 2014-07-11 16:30 晋心阅读(861) 评论(0) 推荐(0) 编辑

晋心

公告