摘要: 安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz安装准备设置集群的hosts,切换到root用户下,用vi编辑器修改/etc/hosts配置文件:vi /etc/hosts10... 阅读全文
posted @ 2014-07-31 18:20 bxljoy 阅读(2524) 评论(2) 推荐(0) 编辑
摘要: 由于需要搭建hadoop平台,但是苦于没有现成可用的linux服务器,只好自己下载了CentOS 6.5从头装起,安装过程中遇到了很多问题,比如网络配置、时钟同步、环境变量配置、以及各种服务的启停,还有jdk的安装等(虽然系统自带JDK,但是本人过于低端,自带的JDK的安装路径都搞不明白,就干脆... 阅读全文
posted @ 2014-07-28 13:10 bxljoy 阅读(2007) 评论(0) 推荐(0) 编辑
摘要: hadoop的分布式文件系统HDFS的存储方式是,将数据分成block,分布式存储在整个hadoop集群的datanode中,每个block默认的大小是64M,这些block文件的具体存储位置是在hadoop的配置文件中定义的,进入/home/hadoop2/hadoop2/etc/hadoop... 阅读全文
posted @ 2014-07-23 17:24 bxljoy 阅读(2291) 评论(0) 推荐(1) 编辑
摘要: 在上一篇文章中(详见http://www.cnblogs.com/bxljoy/p/3850263.html),我们已经介绍了tomcat+solr的索引服务器的配置,但是文中创建的服务器只能支持存储单一索引,很多情况下,我们需要对多个表或者多组不同的数据分别创建索引,如果每次需要创建一个索引库... 阅读全文
posted @ 2014-07-22 17:16 bxljoy 阅读(1236) 评论(0) 推荐(0) 编辑
摘要: 一、安装准备操作系统:CentOS 6.5tomcat版本:apache-tomcat-7.0.54.tar.gzsolr版本:solr-4.9.0.tgz二、部署实施安装tomcat:将tomcat7的压缩包上传到linux,使用命令行解压tomcat,并将加压后的文件夹改名为tomcat7:ta... 阅读全文
posted @ 2014-07-17 14:16 bxljoy 阅读(2551) 评论(0) 推荐(1) 编辑
摘要: 最近的项目需要使用Hbase做实时查询,由于Hbase只支持一级索引,也就是使用rowkey作为索引查询,所以对于多条件筛选查询的支持不够,在不建立二级索引的情况下,只能使用Hbase API中提供的各种filter过滤器进行筛选,感觉查询效率不太理想,于是考虑建立二级索引的方案。 经过goo... 阅读全文
posted @ 2014-07-16 18:20 bxljoy 阅读(5901) 评论(0) 推荐(1) 编辑