上一页 1 ··· 20 21 22 23 24
摘要: 1.MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试-> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行用到的工具:Junit、Mockito、Ant2.使用Configuration关键点:1、 Configuration类可以加载配置文件,包括系统的... 阅读全文
posted @ 2014-04-23 12:21 jhhu 阅读(822) 评论(0) 推荐(0) 编辑
摘要: 1、hadoop-env.sh修改export JAVA_HOME=/Library/Java/Home #增加 JAVA_HOME2、masterslocalhost3、slaveslocalhost4、hdfs-site.xml dfs.replication 1 dfs.bloc... 阅读全文
posted @ 2014-04-23 12:14 jhhu 阅读(320) 评论(0) 推荐(0) 编辑
摘要: Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。AvroAvro是doug cutting主持的RPC项目,有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC,使ha... 阅读全文
posted @ 2014-04-23 11:20 jhhu 阅读(277) 评论(0) 推荐(0) 编辑
摘要: Maven库:http://repo2.maven.org/maven2/Maven依赖查询:http://mvnrepository.com/http://search.maven.orgMaven常用命令:1. 创建Maven的普通java项目: mvn archetype:create -Dg... 阅读全文
posted @ 2014-04-21 23:00 jhhu 阅读(128) 评论(0) 推荐(0) 编辑
上一页 1 ··· 20 21 22 23 24