摘要：
验证原主机是否安装有mysql：要是运行sudo netstat -tap | grep mysql命令查看是否有Mysql的端口，什么结果都没有就对了运行sudo apt-get install mysql-server mysql-client来安装mysql：在安装的过程中会提示你输入Yes，... 阅读全文
摘要：
我下载的tomcat版本是apache-tomcat-7.0.59.tar.gz ，解压在 /usr/local 下：给文件夹授权：重命名为tomcat7进入tomcat7下的bin文件夹，编辑文件catalina.sh添加内容如下：JAVA_HOME=/usr/lib/jvm/jdk1.7.0_7... 阅读全文
摘要：
吸血鬼数字是指位数为偶数的数字，可以由一对数字相乘而得到，而这对数字各包含乘积的一半位数的数字，其中从最初的数字中选取的数字可以任意排序。以两个0结尾的数字是不允许的，例如，下列数字都是吸血鬼数字：1260 = 21 * 601827 = 21 * 872187 = 27 * 81程序如下：impo... 阅读全文
摘要：
上一种方法让所有的数据在网络上重排，然后在许多情况下大部分数据又被丢弃了，如果我们在map阶段就去除不必要的数据，会更有效率。当较小的数据源可以装入mapper的内存时，可以通过将较小的数据源复制到所有的mapper，并在mapper阶段进行联结，以实现效率的极大提高。管理分布式缓存的类为Distr... 阅读全文
摘要：
我是参照《Hadoop in action》完成示例程序。如果是在eclipse下需要将 hadoop-datajoin-xxx.jar 导入工程的Library中。另外新的API已经不再使用mapper，reducer接口，而Datajoin中DataJoinMapperBase，DataJoin... 阅读全文
摘要：
《Hadoop 实战》中的“通过脚本使用Streaming”其中的一个示例：使用脚本来均匀采样一个按行组织的数据文件，在Ubuntu终端输入如下命令：结果如下：修改命令：输出文件如下： 阅读全文
摘要：
今天运行了一段程序：分析专利引用数据集，从专利引用数据集中计算专利被引用的次数在专利局http://data.nber.org/patents/网站下载专利数据作为测试数据，是个251MB的.txt文件...具体原因至今不详，可能是因为我的运行环境是建立在虚拟机之上？在一次运行非正常退出后，输入命令... 阅读全文
摘要：
原来我要实现的是最基本的将本地文件拷贝到HDFS上去，所以写了下面的程序：package com.lcy.hadoop.file;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im... 阅读全文
摘要：
MapFile是已经排过序的SequenceFile，它有索引，所以可以按键查找1.MapFile的写操作MapFile的写操作类似于SequenceFile的写操作。新建一个MapFile.Writer实例，然后调用append()方法顺序写入文件内容。如果不按顺序写入，就抛出一个IOExcept... 阅读全文
摘要：
纯文本不适合记录二进制类型的数据，在这种情况看下，Hadoop的SequenceFile类非常合适，为二进制键值对提供了一种持久的数据结构1.SequenceFile的写操作通过createWriter()静态方法可以创建SequenceFile对象，并返回SequenceFile.Writer实例... 阅读全文