随笔分类 -  hadoop

1
Pig安装及简单使用(pig版本0.13.0,Hadoop版本2.5.0)
摘要：原文地址:http://www.linuxidc.com/Linux/2014-03/99055.htm我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，... 阅读全文
posted @ 2015-10-02 19:54 人生设计师 阅读(1124) 评论(0) 推荐(0) 编辑
http://www.aboutyun.com/blog-61-62.html
摘要：http://www.aboutyun.com/blog-61-62.html 阅读全文
posted @ 2015-10-02 19:24 人生设计师 阅读(279) 评论(0) 推荐(0) 编辑
用java运行Hadoop程序报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.
摘要：用java运行Hadoop例程报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.所写代码如下:package com.pcitc.hadoop;import java.io.IOException;import ... 阅读全文
posted @ 2015-09-15 22:01 人生设计师 阅读(6528) 评论(0) 推荐(0) 编辑
eclipse运行hadoop程序报错:Connection refused: no further information
摘要：eclipse运行hadoop程序报错:Connection refused: no further informationlog4j:WARN No appenders could be found for logger (org.apache.hadoop.conf.Configuration.... 阅读全文
posted @ 2015-09-15 20:40 人生设计师 阅读(12285) 评论(1) 推荐(0) 编辑
eclipse连接远程Hadoop报错，Caused by: java.io.IOException: 远程主机强迫关闭了一个现有的连接。
摘要：eclipse连接远程Hadoop报错，Caused by: java.io.IOException: 远程主机强迫关闭了一个现有的连接。全部报错信息如下:Exception in thread "main" java.io.IOException: Call to hadoopmaster/192... 阅读全文
posted @ 2015-09-14 20:00 人生设计师 阅读(12793) 评论(1) 推荐(0) 编辑
Eclipse执行Hadoop WordCount
摘要：前期工作我的Eclipse是安装在Windows下的，通过Eclipse执行程序连接Hadoop， 需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改windows本机ip地址，打开“网络和共享中 心“，点击左侧菜单”更改适配器设置“，选择相应连接网络... 阅读全文
posted @ 2015-09-13 22:25 人生设计师 阅读(3349) 评论(0) 推荐(0) 编辑
mapreduce程序编写(WordCount)
摘要：折腾了半天。终于编写成功了第一个自己的mapreduce程序，并通过打jar包的方式运行起来了。运行环境：windows 64biteclipse 64bitjdk6.0 64bit一、工程准备1、新建java project2、导入jar包新建一个user library 把hadoop文件夹里的... 阅读全文
posted @ 2015-09-13 22:13 人生设计师 阅读(627) 评论(0) 推荐(0) 编辑
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav
摘要：在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[B... 阅读全文
posted @ 2015-09-13 19:27 人生设计师 阅读(6253) 评论(1) 推荐(0) 编辑
http://www.aboutyun.com/thread-8792-1-1.html
摘要：http://www.aboutyun.com/thread-8792-1-1.html 阅读全文
posted @ 2015-09-13 18:29 人生设计师 阅读(255) 评论(0) 推荐(0) 编辑
搭建hadoop环境，在win7的eclipse上远程操作（Linux上）hadoop2.6.0出错的一些总结
摘要：问题1：在DFS Lcation 上不能对文件进行操作：解决方法:在hadoop上的每个节点上修改该文件 conf/mapred-site.xml，增加: dfs.permissions false 关闭权限验证问题2:控制台输出出现下面警告：log4j:WARN No appenders co... 阅读全文
posted @ 2015-09-13 18:20 人生设计师 阅读(407) 评论(0) 推荐(0) 编辑
解决在windows的eclipse上面运行WordCount程序出现的一系列问题详解
摘要：一．简介 要在Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin- 2.6.0.jar插件，并在运行Hadoop的WordCount代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看... 阅读全文
posted @ 2015-09-13 18:09 人生设计师 阅读(2534) 评论(1) 推荐(0) 编辑
http://www.aboutyun.com/thread-6551-1-1.html
摘要：http://www.aboutyun.com/thread-6551-1-1.html 阅读全文
posted @ 2015-09-13 18:00 人生设计师 阅读(252) 评论(0) 推荐(0) 编辑
Windows下Eclipse连接hadoop
摘要：hadoop在虚拟机上（远程连接也是一样只需要知道master的ip和core-site.xml配置即可。Vmware上搭建了hadoop分布式平台：192.168.11.134 master 192.168.11.135 slave1 192.168.11.136 slave2 core-... 阅读全文
posted @ 2015-09-13 11:28 人生设计师 阅读(355) 评论(0) 推荐(0) 编辑
http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html(重要)
摘要：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 阅读全文
posted @ 2015-09-12 23:54 人生设计师 阅读(191) 评论(0) 推荐(0) 编辑
windows下eclipse远程连接hadoop错误“Exception in thread"main"java.io.IOException: Call to Master.Hadoop/172.20.145.22:9000 failed ”
摘要：在VMware虚拟机下搭建了hadoop集群，ubuntu-12.04，一台master，三台slave。hadoop-0.20.2版本。在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功。但是当在windows下eclipse-3.3 远程连接ha... 阅读全文
posted @ 2015-09-12 23:44 人生设计师 阅读(696) 评论(0) 推荐(0) 编辑
hadoop集群基本配置
摘要：最近在学习hadoop。网上具体过程很多，我就说说简单过程和注意问题。环境：宿主机（windows64），虚拟机（centos64）。准备软件：1、Vmware——虚拟机2、centos镜像文件——centos熟悉点3、hadoop包——用的是1.1.2版本（主要是这个版本资料较多）4、jdk——h... 阅读全文
posted @ 2015-09-12 23:26 人生设计师 阅读(269) 评论(0) 推荐(0) 编辑
hadoop：could only be replicated to 0 nodes, instead of 1
摘要：在Hadoop的环境搭建过程中，常常会遇到类似这样的错误信息提示：“could only be replicated to 0 nodes, instead of 1 ”，产生这样的错误原因有多种，这里列举出以下四种常用的解决方法以供参考：确保master（namenode） 、slaves（da... 阅读全文
posted @ 2015-09-12 22:36 人生设计师 阅读(185) 评论(0) 推荐(0) 编辑
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
摘要：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.htmlhttp://www.cnblogs.com/madyina/p/3708153.html 阅读全文
posted @ 2015-09-12 12:56 人生设计师 阅读(124) 评论(0) 推荐(0) 编辑
Hadoop-eclipse-plugin插件安装
摘要：Hadoop-eclipse-plugin插件安装学习Hadoop有一段时间了，以前每次的做法都是先在win下用eclipse写好Mapreduce程序，然后打成jar文件，上传到linux下用hadoop集群去运行jar文件。然后这样的话调试起来极其麻烦。所以想到安装hadoop的eclipse插... 阅读全文
posted @ 2015-09-12 00:03 人生设计师 阅读(840) 评论(0) 推荐(0) 编辑
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
摘要：异常描述:在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.Name... 阅读全文
posted @ 2015-09-11 23:27 人生设计师 阅读(1323) 评论(0) 推荐(0) 编辑

1
点击右上角即可分享
微信分享提示