随笔分类 - Hadoop
摘要:目的 说明hadoop程序开发过程 前提条件 ubuntu或同类OS java1.6.0_45 eclipse-indigo hadoop-0.20.2 hadoop-0.20.2-eclipse-plugin.jar 各项版本一定要匹配,否则出了问题都不知道是什么原因。 配置 配置Java 详见:
阅读全文
摘要:eclipse与hadoop-eclipse-plugin之间,版本互相不兼容,或者说,版本要求严格。 把hadoop-eclipse-plugin复制到eclipse的plugins目录下以后,如果不匹配,eclipse中就不会出现插件界面,而且不会报错,没有反应(没有出现菜单)就说明有问题,如果
阅读全文
摘要:1.首先看看是否能ping通,如果ping不通可能就要考虑网线、路由等问题了; 2.看防火墙是否关闭,sshd是否开启 3.ssh -v 服务器的ip号,根据提示寻找可能的问题; 我的问题在这一步之后解决了,ssh通了,却不知道原因。 4.service sshd stop /usr/sbin/ss
阅读全文
摘要:2019-03-04 00:10:03,998 [main] ERROR org.apache.pig.Main - ERROR 2999: Unexpected internal error. Failed to create DataStorage.bashrc中要按照以下内容设置,此错误的出现
阅读全文
摘要:第一组: Eclise 版本:Indigo,Service Release 1 Build id:20110916-0149 Window-->Preferences -->Compiler,Compiler compiance level:1.7 -->Installed JREs,jdk1.8.
阅读全文
摘要:因为在使用Hadoop-0.20.2这个古董,需要使用它自带的eclipse插件,而我最初安装的是现代的eclipse4.10.0。 在经历两天,以及以下种种尝试之后,均以失败告终: 1.网上找适合的版本,据说有人编译好的hadoop-0.20.3改名后可以在eclipse3.5以上使用,找到了,复
阅读全文
摘要:美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/ 气候数据的下载地址是: 长格式:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/,这种就是《hadoop权威指南》所使用的数据集格式。 短格式:ftp://ftp.ncdc.noaa.g
阅读全文
摘要:本文进行了以下工作: 预备知识 和各种大型关系型数据库(如sql server和oracle等)一样,Hadoop有自己的文件系统,在操作系统中只能看到文件,用文件工具强制打开以后是无法理解的乱码,只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的,要用h
阅读全文
摘要:Hadoop0.20.2在关机重启后,namenode启动报错: 用bin/hadoop namenode -format重新格式化一下就好了。这个问题已经出现了两次。每次都格式化,显然不是一个专业的解决办法。 经查询,发现是因为临时文件夹/tmp会被删除,解决方法就是在core-site.xml中
阅读全文
摘要:No protocol specifiedxhost: unable to open display ":0" 这是因为在Xserver默认情况下,不允许Linux非当前登录用户(指的是登录ubuntu系统的用户,不是Terminal的)的图形程序的图形显示在当前屏幕上,如果需要这样显示,可以切换u
阅读全文
摘要:adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式。 完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode)、作业跟踪器(jobtracker)等主要进程,另外两个做datanode
阅读全文