随笔分类 -  hadoop

摘要:官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。 Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念, 阅读全文
posted @ 2016-09-27 15:28 巫谢 阅读(1166) 评论(0) 推荐(0) 编辑
摘要:安装时报错:Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (site) on project hadoop-hdfs: An Ant BuildException has occured: in 阅读全文
posted @ 2016-09-27 13:35 巫谢 阅读(404) 评论(0) 推荐(0) 编辑
摘要:Hadoop Streaming提供了一个便于进行MapReduce编程的工具包,使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer,从而充分利用Hadoop并行计算框架的优势和能力,来处理大数据 好吧我承认以上这句是抄的以下是原创干货 首先部署hadoop环境 阅读全文
posted @ 2016-08-18 19:11 巫谢 阅读(11284) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示