摘要: 前段时间为公司基于Elasticsearch(下面简称ES)做了一套检索平台,下面将这段时间积累的一些知识与大家分享,如有不对之处,欢迎大家多多批评与建议。针对Elasticsearch由于东西还是比较多的,我会做成一个系列。下面是这个系统的目录:环境准备 本系列文章以Centos6.3系统为基础,以ElasticSearch0.9.10为搜索平台(现在已经出新版本了),JAVA 版本为JDK1.6。 1、Elasticsearch简介 2、Elasticsearch安装与配置 3、ElasticSearch在Linux环境调优篇 4、ElasticSearch索引篇 5、ElasticSe. 阅读全文
posted @ 2012-12-04 17:58 Mr.HiFiy 阅读(2063) 评论(2) 推荐(2) 编辑
 
摘要: 这几天正在试验sharepoint 2010 发送SMS功能,深入的了解一下。一、先找到一个sms功能提供商,我们可以 在office online 找到相应的公司,一般的公司都会提供10条SMS免费发送。二、我们开始配置sharepoint server sharepoint 管理中心-〉系统设置里面->移动 我们进入里面会要求提供一个web services地址和用户名及密码。 (我在office online找到相应的提供商)并用他们的提供的web services地址与相关信息测试了很久都不能成功。并不是相应信息的问题。之后我发现是还需要导入提供商的让书因为web serveri 阅读全文
posted @ 2011-02-25 22:33 Mr.HiFiy 阅读(1598) 评论(0) 推荐(2) 编辑
  2012年12月11日
摘要: 原文链接:http://jprante.github.com/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html 从2006年的java6 到现在java7无论是性能或其它方面都有了很大的改进,我们没有理由不在使用Java7,我个人也认为java7在内存方面比java6优秀. 这使我有对java6和java7及es在jvm设置有了很大的趣兴,因此写一篇博文一探其中之道。 Es已经预先为我们的JVM进行了一些设置,而且这些设置都是比较好的,现在这方面的设置也非常小心,因此你不需要关心jvm的设置就可以马上使用 阅读全文
posted @ 2012-12-11 10:07 Mr.HiFiy 阅读(3212) 评论(0) 推荐(0) 编辑
  2012年12月6日
摘要: ES检索篇主要是对索引中的数据进行查询的一个过程:1.IndexReader打开索引文件,读取并打开指向索引文件的流。2.用户输入查询语句3.将查询语句转换为查询对象Query对象树4.构造Weight对象树,用于计算词的权重Term Weight,也即计算打分公式中与仅与搜索语句相关与文档无关的部分(红色部分)。5.构造Scorer对象树,用于计算打分(TermScorer.score())。6.在构造Scorer对象树的过程中,其叶子节点的TermScorer会将词典和倒排表从索引中读出来。7.构造SumScorer对象树,其是为了方便合并倒排表对Scorer对象树的从新组织,它的叶子节. 阅读全文
posted @ 2012-12-06 22:02 Mr.HiFiy 阅读(1585) 评论(0) 推荐(0) 编辑
摘要: ES索引优化篇主要从两个方面解决问题,一是索引数据过程;二是检索过程。索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据,但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展,而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化: "index.translog.flush_threshold_ops": "100000" "index.refresh_interval": &q 阅读全文
posted @ 2012-12-06 21:58 Mr.HiFiy 阅读(5842) 评论(1) 推荐(2) 编辑
摘要: Es Mapping篇主要是讲解Mapping的一些相关配置与需要注意的地方,说到Mapping大家可能觉得有些不解,其实我大体上可以将Es 理解为一个数据管理平台,那么index 当然就是库了,type可以理解为表,mapping可以理解为表的结构和相关设置的信息(当然mapping有更大范围的意思)。Mapping的作用域也是从cluster、node、index、type。curl -XPOST localhost:9200/wf_mds_org(索引名称) -d '{ "settings": { "number_of_shards": 1 阅读全文
posted @ 2012-12-06 21:57 Mr.HiFiy 阅读(5898) 评论(3) 推荐(1) 编辑
摘要: Es索引的我们可以理解为数据入库的一个过程。我们知道Es是基于Lucene框架的一个分布式检索平台。索引的同样也是基于Lucene创建的,只不过在其上层做了一些封闭。 Es的索引过程比较通用的大体上有两种方式,其一是得用自身Rvier从数据库中拉数据,当然现在已经有了很多相关插件,Mysql、MDB等数据库。这种方式可以做到近时实索引,因为River是定时从数据库拉数据与索引数据进行比对。这种方式经较适合数据有周期的更新。 下面以Mysql-River plugins为例:1、 安装Mysql-River 插件bin/plugin -install /path/to/plugin/river- 阅读全文
posted @ 2012-12-06 21:56 Mr.HiFiy 阅读(3883) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch在Linux系统环境中运行,需要对Linux系统进行一系列调优,这样可以提高ElasticSearch的检索效率。主要的需要调优的参数如下:1. Linux调整文件数/etc/security/limits.conf在文件中增加* soft nofile 8192* hard nofile 20480* - memlock unlimited在登陆中添加下面命令行/etc/pam.d/loginsession required /lib64/security/pam_limits.so(在不同系统中文件位置不同)2. 关闭文件的更新时间/etc/fstab在文件中添加 阅读全文
posted @ 2012-12-06 08:19 Mr.HiFiy 阅读(1772) 评论(0) 推荐(0) 编辑
摘要: ElasticSearch安装好后我们需要对ElasticSearch的Config进行一系列配置,具体如下:cluster.name: rmscloud集群名称node.name: "rcnode21"节点名称node.tag: "tag21"节点标签node.data: true节点是否存储数据index.number_of_shards: 5索引分片数index.number_of_replicas: 1索引副本数path.data: /data/elasticsearch/data数据目录存放位置path.logs: /data/elastics 阅读全文
posted @ 2012-12-06 08:16 Mr.HiFiy 阅读(2181) 评论(0) 推荐(0) 编辑
  2012年12月4日
摘要: 简介 ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。 我们建立一个网站或应用程序,并要添加搜索功能,令我们受打击的是:搜索工作是很难的。我们希望我们的搜索解决方案要快,我们希望有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP的索引数据,我们希望我们的搜索服务器始终可用,我们希望能够一台开始并扩展到数百,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。Elasticsearch旨在解决所有.. 阅读全文
posted @ 2012-12-04 22:46 Mr.HiFiy 阅读(2254) 评论(0) 推荐(0) 编辑
摘要: MySQL Master-Master方案1、 环境安装与前者一样2、 配置一、MySQL master-master配置1、修改MySQL配置文件两台MySQL均如要开启binlog日志功能,开启方法:在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin选项两台MySQL的server-ID不能一样,默认情况下两台MySQL的serverID都是1,需将其中一台修改为2即可2、将192.168.1.201设为192.168.1.202的主服务器在192.168.1.201上新建授权用户MySQL> grant replication slave on *.* 阅读全文
posted @ 2012-12-04 17:49 Mr.HiFiy 阅读(461) 评论(0) 推荐(0) 编辑