随笔分类 -  杨凯--hadoop

精心收集的Hadoop学习资料
摘要：1、《Hadoop技术内幕：深入解析Hadoop Common和HDFS》下载地址：http://download.csdn.net/detail/w397090770/6643259。 2、《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》下载地址：http://down... 阅读全文
posted @ 2014-01-28 16:11 yangkai_keven 阅读(228) 评论(0) 推荐(0) 编辑
Hadoop什么？
摘要：Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对... 阅读全文
posted @ 2014-01-28 14:07 yangkai_keven 阅读(162) 评论(0) 推荐(0) 编辑
在HADOOP中使用MRUNIT进行单元测试
摘要：在HADOOP中使用MRUNIT进行单元测试前提1. 了解JUnit4.x的使用。2. 了解Mock的概念在单元测试中的应用。3. 了解Hadoop中MapReduce的编程模型。如果您对Junit和Mock不了解，可以先阅读[翻译]Unit testing with JUnit 4.x and E... 阅读全文
posted @ 2014-01-27 13:26 yangkai_keven 阅读(158) 评论(0) 推荐(0) 编辑
hadoop报错：could only be replicated to 0 nodes, instead of 1
摘要：错误[root@hadoop test]# hadoop jar hadoop.jarcom.hadoop.hdfs.CopyToHDFS14/01/26 10:20:00 WARN hdfs.DFSClient: DataStreamerException: org.apache.hadoop.i... 阅读全文
posted @ 2014-01-26 10:44 yangkai_keven 阅读(323) 评论(0) 推荐(0) 编辑
hadoop配置文件详解、安装及相关操作补充版
摘要：一、 Hadoop伪分布配置 首先应该现在profile文件添加hadoop_home操作如下：export JAVA_HOME=/usr/java/jdkexport HADOOP_HOME=/usr/java/hadoopexport PATH=.:$JAVA_HOME/bin:$HAD... 阅读全文
posted @ 2014-01-25 00:18 yangkai_keven 阅读(191) 评论(0) 推荐(0) 编辑
Warning: $HADOOP_HOME is deprecated. hadoop解决方法补充版
摘要：下面的解决方案我亲自试了没有问题；可行，但是对于初学者来说肯定会有一个疑问；这个.bash_profile文件到底在哪呢；其实很简单：当前用户的.bash_profile在/home/用户/下，系统的.bash_profile在/etc/skel目录下; 默认可能是隐藏的；有人会问了，隐藏的我怎... 阅读全文
posted @ 2014-01-24 13:30 yangkai_keven 阅读(297) 评论(0) 推荐(0) 编辑
hadoop创建两大错误：Bad connection to FS. command aborted. exception和Shutting down NameNode at hadoop
摘要：1.问题目录表：Error代码1.BadconnectiontoFS.commandaborted.exception:Calltolocalhost/127.0.0.1:882.88failedonconnectionexception:java.net.ConnectException:Conn... 阅读全文
posted @ 2014-01-24 11:53 yangkai_keven 阅读(552) 评论(0) 推荐(0) 编辑
单机版搭建Hadoop环境图文教程详解
摘要：前言：年前，在老大的号召下，我们纠集了一帮人搞起了Hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程：一、安装... 阅读全文
posted @ 2014-01-05 18:41 yangkai_keven 阅读(320) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示