随笔分类 -  Hadoop+Nutch+HBse+ES

Ubuntu系统下搜索引擎搭建知识记录和积累
Nutch配置：nutch-default.xml详解
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2015-05-10 11:00 xxx0624 阅读(640) 评论(1) 推荐(0) 编辑
MapReduce实例
摘要：1.WordCount（统计单词）经典的运用MapReuce编程模型的实例1.1 Description给定一系列的单词/数据，输出每个单词/数据的数量1.2 Sample1 a is b is not c2 b is a is not d1.3 Output1 a:22 b:23 c:14 d:1... 阅读全文
posted @ 2015-04-22 11:31 xxx0624 阅读(419) 评论(0) 推荐(0) 编辑
HBase保存的各个字段意义解释
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2015-03-04 10:31 xxx0624 阅读(757) 评论(0) 推荐(0) 编辑
ElasticSearch使用IK中文分词---安装步骤记录
摘要：提示1:必须保证之前的ES中不存在index, 否则ES集群无法启动, 会提示red!提示2:下载的IK如果太新,会报错 TokenStream被重载Caused by: java.lang.VerifyError: class org.wltea.analyzer.lucene.IKAnalyze... 阅读全文
posted @ 2015-03-01 16:46 xxx0624 阅读(942) 评论(0) 推荐(0) 编辑
ElasticSearch Java api 详解_V1.0
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2015-02-28 21:20 xxx0624 阅读(11895) 评论(0) 推荐(1) 编辑
HBase入门
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2015-02-25 23:20 xxx0624 阅读(346) 评论(0) 推荐(0) 编辑
Ubuntu环境下Nutch1.2 二次开发（添加中文分词）
摘要：前提nutch1.2已部署到eclipse中详见：http://www.cnblogs.com/cy163/archive/2013/02/19/2916419.html1 部署IKAnalyzer3.2.81.1 下载IKAnalyzer3.2.81.2 将IKAnalyzer3.2.8复制到nu... 阅读全文
posted @ 2015-01-22 20:40 xxx0624 阅读(372) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置ElasticSearch0.90.5
摘要：1 下载elasticsearch-0.90.52 修改配置（可选）修改内存：（可选）bin/elasticsearch.in.sh中：ES_MIN_MEMES_MAX_MEM修改搜索引擎页面信息：（可选）config/elasticsearch.yml中：cluster.name: elastic... 阅读全文
posted @ 2015-01-22 20:11 xxx0624 阅读(333) 评论(0) 推荐(0) 编辑
Ubuntu环境下Nutch+Tomcat 搭建简单的搜索引擎
摘要：简易的搜索引擎搭建我的配置：Nutch：1.2Tomcat：7.0.571 Nutch设置修改Nutch配置1.1 修改conf/nutch-site.xml 1 2 3 4 5 6 7 8 9 storage.data.store.class 10 ... 阅读全文
posted @ 2015-01-21 16:50 xxx0624 阅读(356) 评论(0) 推荐(0) 编辑
Ubuntu环境下Hadoop1.2.1, HBase0.94.25, nutch2.2.1各个配置文件一览
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2014-12-21 12:50 xxx0624 阅读(497) 评论(0) 推荐(0) 编辑
Ubuntu环境下nutch2.2.1集成HBase0.94.25
摘要：nutch2.2.1集成HBase0.94.25（详见：http://duguyiren3476.iteye.com/blog/2085973 ）1. 修改nutch的hbase配置//将自己的hbase配置copy到nutch配置中cp /home/hbase/conf/hbase-site.xm... 阅读全文
posted @ 2014-12-21 09:37 xxx0624 阅读(524) 评论(0) 推荐(0) 编辑
Ubuntu环境下利用ant编译nutch2.2.1 & 配置nutch2.2.1
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2014-12-18 20:11 xxx0624 阅读(1305) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置ant
摘要：配置ant1. 下载ant（http://ant.apache.org/bindownload.cgi）例如我下载的是：apache-ant-1.9.4-bin.tar.gz解压ant，将文件夹名称改为apache_ant，并移动到/home目录下2. 设置环境变量sudo gedit /etc/p... 阅读全文
posted @ 2014-12-18 17:39 xxx0624 阅读(842) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置HBase0.94.25
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2014-12-17 21:26 xxx0624 阅读(493) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置zookeeper
摘要：配置zookeeper注意：因为是单机伪分布式配置，故同一机器上有3个serverzookeeper文件格式如下home---zookeeper---server0---zookeeper | ------------ser... 阅读全文
posted @ 2014-12-17 00:23 xxx0624 阅读(2071) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置tomcat
摘要：配置tomcat前提条件：JDK已配置。（配置JDK：http://www.cnblogs.com/xxx0624/p/4164744.html）1. 下载tomcat（http://tomcat.apache.org/download-70.cgi）解压到某个目录（我解压到的是：/home）tar... 阅读全文
posted @ 2014-12-16 12:39 xxx0624 阅读(816) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置Hadoop1.2.1
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2014-12-15 23:06 xxx0624 阅读(765) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置openSSH
摘要：配置openSSH1.手动下载压缩文件（.tar.gz）zlib-1.2.7.tar.gzopenssl-1.0.1j.tar.gzopenssh-6.0p1.tar.gz2.安装zlib 2.1 解压zlibsudo tar -zxvf zlib-1.2.7.tar.gz 2.2编译安装/*进入z... 阅读全文
posted @ 2014-12-15 18:42 xxx0624 阅读(1520) 评论(0) 推荐(0) 编辑
Ubuntu环境下手动配置Java环境
摘要：/×××××××××××××××××××××××××××××××××××××××××/Author：xxx0624HomePage：http://www.cnblogs.com/xxx062 阅读全文
posted @ 2014-12-15 16:44 xxx0624 阅读(494) 评论(0) 推荐(0) 编辑