高董201321060141

摘要： 首先了解如下知识：在Ubuntu中有如下几个文件可以设置环境变量/etc/profile:在登录时,操作系统定制用户环境时使用的第一个文件,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行./etc/environment:在登录时操作系统使用的第二个文件,系统在读取你自己的profile前,设置环境文件的环境变量~/.profile:在登录时用到的第三个文件是.profile文件,每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!默认情况下,他设置一些环境变量,执行用户的.bashrc文件./etc/bashrc:为每一个运行ba 阅读全文

摘要： 1）ubuntu在系统启动logo过后无法进入桌面的处理方法一般情况下，无法显示桌面，然后/var/log/Xorg.0.log中显示找不到显示器设备，但是在系统启动的时候会显示启动logo，是因为显示配置文件找不到。例如，/etc/X11/xorg.config文件不存在。 走此情况的解决方法是： #Xorg -configure //生成默认配置文件，一般保存为/root/xorg.conf.new 然后将其重命名为xorg.conf #mv /root/xorg.conf.new /etc/X11/xorg.conf 重启系统即可转自：http://jiazaihaibian.word. 阅读全文

摘要： http://wiki.jetbrains.net/intellij/Installing_and_running_IntelliJ_IDEA_on_Ubuntu#Running_IntelliJ_IDEA遇到的问题：Exception in thread "main" java.awt.HeadlessException: Unable to detect graphics environmentNo X11 DISPLAY variable was set, but this program performed an operation which requires i 阅读全文

摘要： jps下发现namenode在启动时出错了，没有启动起来 jps2627 DataNode2884 SecondaryNameNode3267 NodeManager3042 ResourceManager3891 Jps启动namenodesbin/hadoop-daemon.sh start namenode再jps一下 jps2627 DataNode4001 NameNode2884 SecondaryNameNode3267 NodeManager4041 Jps3042 ResourceManager发现都启动了，运行wordcount程序发现还是出错，连bin/hadoop fs 阅读全文

摘要： 在终端输入sudo cp /usr/lib/jni/libswt-*3740.so /home/gao/.swt/lib/linux/x86_64把/usr/lib/jni/libswt-*3740.so类文件copy到/home/gao/.swt/lib/linux/x86_64下即可，如果是32位，则为X86 阅读全文

摘要： 一 MapReduce概述Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的 阅读全文

摘要： 2013-06-08 17:57:27,519 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-770817654-172.17.50.119-1370685416301 (storage id DS-803461661-172.17.50.119-50010-1370681848198) service to localhost/127.0.0.1:9000java.io.IOException: Incompatible clu 阅读全文

摘要： 13/12/04 16:17:18 ERROR security.UserGroupInformation: PriviledgedActionException as:aolx (auth:SIMPLE) cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/out already exists每次运行时，要保证output的目录为空，所以这时候必须去hdfs文件系统下把out以前的运行结果保存起来或者删除掉可以用bin/hadoop fs -ls / 阅读全文

摘要： 实验环境：Windows VistaVirtualBox 4.0.0Ubuntu 10.10 图文介绍安装过程如下：基本每一步都有截图，在必要的图片上做了相关备注，特别是在磁盘分区的地方做了详细的注释，新手一看就会来自：Michael's blog @http://sjsky.iteye.com 阅读全文

摘要： 在Ubuntu下安装hadoop2.1.0之前，首先需要安装如下程序：|- JDK 1.6 or later|- SSH（安全协议外壳）。 要装这两个程序的原因： 1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载 的主机上的进程，只不过伪分布式中salve为loc... 阅读全文