摘要：
一个很不错得截图工具～～KSnapshot是KDE集成桌面环境自带的截图工具，不过在GNOME集成桌面环境下也可以安装和使用它。我们可以通过新立得软件包管理器或使用apt-get命令来安装它。假设使用命令行方式来安装，打开一个GNOME终端窗口，在终端窗口中输入如下命令： sudo apt-get install ksnapshot 命令执行后，将在线下载并安装KSnapshot。安装完毕后，在菜单“应用程序”→“图像”下找到“KSnapshot”项，点击该项则运行KSnapshot程序(如图4)。 KSnapshot功能非常强大，提供的截图模式有全屏(Full Screen)、光... 阅读全文
摘要：
1.安装OpenSSH服务器 一般用ps -e查看会发现只有ssh-agent进程. 使用sudo apt-get install ssh 安装ssh服务器，结束后使用ps -e | grep ssh会看到多了一个sshd进程，这就是ssh服务器进程 2.ssh配置 OpenSSH守护进程在Red Hat中使用/etc/ssh/sshd_config配置文件，一般使用其默认配置即可。 启动OpenSSH服务，使用/sbin/service sshd start命令（一般在安装完成后sshd会自动启用，所以这步其实可以省略），然后使用ps -e看到多了一个sshd... 阅读全文
摘要：
首先明确：1.Hadoop不支持全局变量，也不建议使用全局变量。 我的理解是，这是因为hadoop具有map类和reducer类，并且不同的task一般执行的是不同的map或reduce。所以全局变量是无法传递的。（但是一般情况下，我们也许会需要一个对于所有map和reduce都能访问的全局变量），暂时我知道的解决方法如下：2.如果Mapper类和Reducer类都是主类的内部类，可以在主类中使用 private static string global = "global variable"; 但是这种方法不通用，因为Mapper类和Reducer类在概念上是与主类无关的 阅读全文
摘要：
简单的pageRank实现参考：http://wlh0706-163-com.iteye.com/blog/1397694较为复杂的PR值计算以及在hadoop上的实现：http://deathspeeder.is-programmer.com/posts/31349.htmlpageRank算法的基本思想是：网页的热门程度依赖指向它的网页的热门程度。也许google当初的PageRank网页排名有着很严密的数学逻辑推导，但在编程的时候实现这种数学推导困难很大，用的更多的是另外一个超级简单的数学公式，同样可以实现将网页排名的目的。PageRank原理分析举例来讲：假设每个网页都有一个自己的默认 阅读全文
摘要：
1.单个文件的压缩或解压import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io 阅读全文
摘要：
众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1，getmergehadoop有一个命令行工具getmerge，用于将一组HDFS上的文件复制到本地计算机以前进行合并参考：http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html使用方法：hadoop fs -getmerge <src> <localdst> [addnl]接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可 阅读全文
摘要：
装好hadoop，但是一直出现问题，总结如下：排错到现在，最大的感觉是，也许你的错误表象跟网上说的一样，但是解决方法会大有不同，只能说这种错误是同一问题（如namenode出错）导致，但是究竟是什么行为导致这个问题，每个人也许都不相同，所以重点是找到自己的操作时的错误所在.1.Too many fetch-failures错误问题介绍：http://blog.csdn.net/liangliyin/article/details/6455713网上的解决方案：1）Answer:（http://www.hadoopor.com/thread-71-1-1.html） 出现这个问题主要是结点间的. 阅读全文
摘要：
文章转自：http://blog.csdn.net/heyutao007/article/details/5890103趁这个时候，顺便把hadoop的用于比较的Writable, WritableComparable, Comprator等搞清楚。。1.二次排序概念：首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果 。如： 输入文件：20 21 50 51 50 52 50 53 50 54 60 51 60 53 60 52 60 56 60 57 70 58 60 61 70 5... 阅读全文
摘要：
解决参考：http://blog.csdn.net/hongweigg/article/details/7203749我的过程是：1。在run configuration中 Arguments/VM arguments加上如下语句：2.如果不行可以在properities/java build path中添加：library/add external folder, 选择/home/kqiao/hadoop-0.20.203.0/lib/native/Linux-i386-32 阅读全文
摘要：
全部程序如下：import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSys 阅读全文