elasticsearch的percolator操作
摘要：es的普通查询是通过某些条件来查询满足的文档，percolator则不同，先是注册一些条件，然后查询一条文档是否满足其中的某些条件。 es的percolator特性在数据分类、数据路由、事件监控和预警方面都有很好的应用。 第一步是建立名为percolate的索引，包含一个字段message 第二步，
阅读全文
posted @
2017-04-26 22:30
lnlvinso
阅读(1154)
推荐(0) 编辑
使用json文件给es中导入数据
摘要：使用json文件可以给es中导入数据，10万条左右的数据可以一次导入，数量太大时导入就会报错。大数量的到导入还是需要用bulk方式。 accounts.json文件格式如下： {"index":{"_id":"1"}} {"title":"learn es","content":"work hard
阅读全文
posted @
2017-04-19 22:23
lnlvinso
阅读(8113)
推荐(0) 编辑
es故障节点恢复后加入集群导致删除索引重新出现
摘要：es的每个shard下的文件都可以看做一个完整的lucene文件，shard数据目录下的segment文件包含了索引的分片数量，副本数量。es shard可以恢复，就是因为每个shard都包含了一份数据，而且包含了索引的分片数量，副本数量等信息。 有这样一种情形，es集群中的某一个节点坏掉了，接着又
阅读全文
posted @
2017-04-19 22:03
lnlvinso
阅读(6693)
推荐(0) 编辑
windows单节点下安装es集群
摘要：linux下的es的tar包，拖到windows下，配置后，启动bin目录下的bat文件，也是可以正常运行的。 从linux下拷的tar包，需要修改虚拟机的内存elasticsearch.in.bat，否则会内存不够无法正常启动。 同时还需要修改数据和日志的存储路径。 最好还是在windows下安装
阅读全文
posted @
2017-04-17 22:28
lnlvinso
阅读(578)
推荐(0) 编辑
Hadoop RPC简单例子
摘要：jdk中已经提供了一个RPC框架—RMI，但是该PRC框架过于重量级并且可控之处比较少，所以Hadoop RPC实现了自定义的PRC框架。 同其他RPC框架一样，Hadoop RPC分为四个部分： （1）序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的W
阅读全文
posted @
2017-04-12 22:15
lnlvinso
阅读(237)
推荐(0) 编辑
es数据恢复杂记
摘要：kill -9或者断电等原因异常，es在重启后，会通过translog来进行数据恢复。 默认的恢复速度是较慢的，可以设置indices.recovery.current_streams:10增大恢复的线程数，还可以设置indices.recovery的其他参数加快恢复的速度。 但是某些情况下，如lu
阅读全文
posted @
2017-04-10 22:21
lnlvinso
阅读(1260)
推荐(0) 编辑
Lucene 5.X 版本索引文件格式
摘要：原文链接：https://my.oschina.net/rickylau/blog/527602 保存此段包含的文档，每篇文档中包含的域以及每个域的信息。 .tim文件中存储着每个域中Term的统计信息且保存着指向.doc, .pos, and .pay 索引文件的指针。 .tip文件保存着Term
阅读全文
posted @
2017-04-10 21:50
lnlvinso
阅读(412)
推荐(0) 编辑
