随笔分类 -  Hadoop

摘要:目的 说明hadoop程序开发过程 前提条件 ubuntu或同类OS java1.6.0_45 eclipse-indigo hadoop-0.20.2 hadoop-0.20.2-eclipse-plugin.jar 各项版本一定要匹配,否则出了问题都不知道是什么原因。 配置 配置Java 详见: 阅读全文
posted @ 2019-03-29 23:19 火军刀 阅读(4062) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-03-29 19:53 火军刀 阅读(206) 评论(0) 推荐(0) 编辑
摘要:eclipse与hadoop-eclipse-plugin之间,版本互相不兼容,或者说,版本要求严格。 把hadoop-eclipse-plugin复制到eclipse的plugins目录下以后,如果不匹配,eclipse中就不会出现插件界面,而且不会报错,没有反应(没有出现菜单)就说明有问题,如果 阅读全文
posted @ 2019-03-29 14:30 火军刀 阅读(899) 评论(0) 推荐(0) 编辑
摘要:1.首先看看是否能ping通,如果ping不通可能就要考虑网线、路由等问题了; 2.看防火墙是否关闭,sshd是否开启 3.ssh -v 服务器的ip号,根据提示寻找可能的问题; 我的问题在这一步之后解决了,ssh通了,却不知道原因。 4.service sshd stop /usr/sbin/ss 阅读全文
posted @ 2019-03-04 00:41 火军刀 阅读(4412) 评论(0) 推荐(0) 编辑
摘要:2019-03-04 00:10:03,998 [main] ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Failed to create DataStorage.bashrc中要按照以下内容设置,此错误的出现 阅读全文
posted @ 2019-03-04 00:21 火军刀 阅读(275) 评论(0) 推荐(0) 编辑
摘要:第一组: Eclise 版本:Indigo,Service Release 1 Build id:20110916-0149 Window-->Preferences -->Compiler,Compiler compiance level:1.7 -->Installed JREs,jdk1.8. 阅读全文
posted @ 2019-02-27 16:54 火军刀 阅读(228) 评论(0) 推荐(0) 编辑
摘要:因为在使用Hadoop-0.20.2这个古董,需要使用它自带的eclipse插件,而我最初安装的是现代的eclipse4.10.0。 在经历两天,以及以下种种尝试之后,均以失败告终: 1.网上找适合的版本,据说有人编译好的hadoop-0.20.3改名后可以在eclipse3.5以上使用,找到了,复 阅读全文
posted @ 2019-02-24 00:58 火军刀 阅读(182) 评论(0) 推荐(0) 编辑
摘要:美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/ 气候数据的下载地址是: 长格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/,这种就是《hadoop权威指南》所使用的数据集格式。 短格式:ftp://ftp.ncdc.noaa.g 阅读全文
posted @ 2019-02-20 11:43 火军刀 阅读(3131) 评论(0) 推荐(0) 编辑
摘要:本文进行了以下工作: 预备知识 和各种大型关系型数据库(如sql server和oracle等)一样,Hadoop有自己的文件系统,在操作系统中只能看到文件,用文件工具强制打开以后是无法理解的乱码,只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的,要用h 阅读全文
posted @ 2019-02-18 10:02 火军刀 阅读(503) 评论(0) 推荐(0) 编辑
摘要:Hadoop0.20.2在关机重启后,namenode启动报错: 用bin/hadoop namenode -format重新格式化一下就好了。这个问题已经出现了两次。每次都格式化,显然不是一个专业的解决办法。 经查询,发现是因为临时文件夹/tmp会被删除,解决方法就是在core-site.xml中 阅读全文
posted @ 2019-02-16 13:31 火军刀 阅读(527) 评论(0) 推荐(0) 编辑
摘要:No protocol specifiedxhost: unable to open display ":0" 这是因为在Xserver默认情况下,不允许Linux非当前登录用户(指的是登录ubuntu系统的用户,不是Terminal的)的图形程序的图形显示在当前屏幕上,如果需要这样显示,可以切换u 阅读全文
posted @ 2019-02-14 20:45 火军刀 阅读(1157) 评论(0) 推荐(0) 编辑
摘要:adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式。 完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode)、作业跟踪器(jobtracker)等主要进程,另外两个做datanode 阅读全文
posted @ 2019-02-13 14:36 火军刀 阅读(708) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示