Beanmoon

摘要： 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要： 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端Hado 阅读全文

摘要： 1.安装很简单在Debian系统下安装NFS是相当简单的，在NFS服务器上执行下面的命令即可# aptitude install nfs-kernel-server （会默认安装portmap和nfs-common）在客户端则需要安装： # aptitude install nfs-common portmap2.服务器启动、停止与重启： 启动服务# /etc/init.d/nfs-kernel-server start 停止服务# /etc/init.d/nfs-kernel-server stop 重启服务# /etc/init.d/nfs-kernel-server resta... 阅读全文

摘要： 1 /etc/hosts包含（本地网络中）已知主机的一个列表。如果系统的 IP 不是动态获取，就可以使用它。对于简单的主机名解析（点分表示法），在请求 DNS 或 NIS 网络名称服务器之前，/etc/hosts.conf 通常会告诉解析程序先查看这里。 文件格式:ip地址 主机名 别名　$ cat /etc/hosts127.0.0.1 localhost.localdomain localhost2 /etc/servicesInternet网络服务文件，将网络服务名转换为端口号／协议。由 inetd、telnet、tcpdump 和一些其它程序读取。文件中的每一行对应一种服务，它由4个字 阅读全文

摘要： 此下为几个重要的配置文件，在此记录下来便于以后参考：1. ~/.bashrc#for Gaussian09export G09ROOT=/home/bean/g09export GAUSS_EXEDIR=/home/bean/g09export GAUSS_SCRDIR=$G09ROOT/scratchexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/$G09ROOTexport PATH=$PATH:/home/bean/g09# for javaexport JAVA_HOME=/home/bean/jdk1.7.0_09export PATH=$JAVA_ 阅读全文

摘要： A Java virtual machine is a program which executes certain other programs, namely those containing Java bytecode instructions. JVMs are most often implemented to run on an existingoperating system, but can also be implemented to run directly on hardware. A JVM provides an environment in which Java b 阅读全文

摘要： 学习了hadoop这几天，一些主要的概念必须得先弄清楚，下面是来自wiki.apache的一些很好的解释，整理如下： 本文信息来源：http://wiki.apache.org/hadoop/FrontPage1. NameNode The NameNode is the centerpiece of an HDFS file system. It keeps the directory tree of all files in the file system, and tracks where across the cluster the file data is kept. It ... 阅读全文

摘要： (1).在debian下默认的浏览器中输入网址时是要加www的，例如baidu.com就不行，他不认，你要写www.baidu.com；害得我还以为配置文件出了问题，改了又改，重启了eth0 n次。(2).如果在使用ssh无密码登录时出现如下出错信息，可以这样解决：之前要在本机上装上ssh，可以通过sudo apt-get install ssh或者通过新立德来安装。如果没有进行配置的话，登录到本机或者远程主机需要该主机的密码才行。下面进行无密码登录的配置：很简单，执行ssh-keygen -t rsa命令，一路敲回车就行了，就在.ssh文件夹下生成了2个文件，一个公钥和一个私钥文件， id_ 阅读全文

摘要： 先打开命令提示符(win2000或在运行框里执行cmd命令，win98为DOS提示符)，输入jar Chelp,然后回车(如果你盘上已经有了jdk1.1或以上版本)，看到什么： 用法：jar {ctxu}[vfm0Mi] [jar-文件] [manifest-文件] [-C 目录] 文件名 ... 选项： -c 创建新的存档 -t 列出存档内容的列表 -x 展开存档中的命名的（或所有的〕文件 -u 更新已存在的存档 -v 生成详细输出到标准输出上 -f 指定存档文件名 -m 包含来自标明文件的标明信息 -0 只存储方式；未用zip压缩格式 -M 不产生所... 阅读全文

摘要： 转载请注明原作者：http://www.cnblogs.com/beanmoon 最近在研究大数据的课题，不可避免要用到hadoop，于是开始看《hadoop: the definite guide 2》，在遇到分析天气数据时，遇到一个实例，然后就动手试试运行命令 % export HADOOP_CLASSPATH=build/classes% hadoop MaxTemperature input/ncdc/sample.txt output HADOOP_CLASSPATH是用来指明经编译过的class文件所在的位置（我是通过eclipse来编译的，不知道书中作者是怎么编译的，直... 阅读全文