es中的一些知识点记录
摘要：1. forcemerge接口 强制段合并，设置为1时，是期望最终只有1个索引段。但实际情况是，合并的结果是段的总数会减少，但仍大于1，可以多次执行强制合并的命令。 设置的的目标值越小。合并消耗的时间会越久。 curl -XPOST http://127.0.0.1:9200/logstash-20
阅读全文
posted @
2018-04-14 22:26
lnlvinso
阅读(1175)
推荐(0) 编辑
lucene索引查看工具luke和文本提取工具Tika
摘要：luke可以方便的查看lucene的索引信息，当然也可以查看solr和es中的索引信息(基于lucene实现)。 查看索引前，要注意lucene版本的问题，高版本的lucene用低版本的luke工具就可能无法打开。 记得以前用luke还可以实现索引修复的功能，会把有错误的段segment删掉，使用前
阅读全文
posted @
2018-04-14 22:14
lnlvinso
阅读(417)
推荐(0) 编辑
Hive on ES
摘要：ES对于类似数据库的SQL查询很无力，可以使用Hive on ES来实现SQL的查询。2个百万级的索引做关联时，需要大概1分多钟，基于es2.1版本。 1.将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib目录下。 2.创建hive表 create external
阅读全文
posted @
2017-06-25 18:32
lnlvinso
阅读(2358)
推荐(0) 编辑
elasticsearch的percolator操作
摘要：es的普通查询是通过某些条件来查询满足的文档，percolator则不同，先是注册一些条件，然后查询一条文档是否满足其中的某些条件。 es的percolator特性在数据分类、数据路由、事件监控和预警方面都有很好的应用。 第一步是建立名为percolate的索引，包含一个字段message 第二步，
阅读全文
posted @
2017-04-26 22:30
lnlvinso
阅读(1154)
推荐(0) 编辑
使用json文件给es中导入数据
摘要：使用json文件可以给es中导入数据，10万条左右的数据可以一次导入，数量太大时导入就会报错。大数量的到导入还是需要用bulk方式。 accounts.json文件格式如下： {"index":{"_id":"1"}} {"title":"learn es","content":"work hard
阅读全文
posted @
2017-04-19 22:23
lnlvinso
阅读(8113)
推荐(0) 编辑
es故障节点恢复后加入集群导致删除索引重新出现
摘要：es的每个shard下的文件都可以看做一个完整的lucene文件，shard数据目录下的segment文件包含了索引的分片数量，副本数量。es shard可以恢复，就是因为每个shard都包含了一份数据，而且包含了索引的分片数量，副本数量等信息。 有这样一种情形，es集群中的某一个节点坏掉了，接着又
阅读全文
posted @
2017-04-19 22:03
lnlvinso
阅读(6693)
推荐(0) 编辑
windows单节点下安装es集群
摘要：linux下的es的tar包，拖到windows下，配置后，启动bin目录下的bat文件，也是可以正常运行的。 从linux下拷的tar包，需要修改虚拟机的内存elasticsearch.in.bat，否则会内存不够无法正常启动。 同时还需要修改数据和日志的存储路径。 最好还是在windows下安装
阅读全文
posted @
2017-04-17 22:28
lnlvinso
阅读(578)
推荐(0) 编辑
es数据恢复杂记
摘要：kill -9或者断电等原因异常，es在重启后，会通过translog来进行数据恢复。 默认的恢复速度是较慢的，可以设置indices.recovery.current_streams:10增大恢复的线程数，还可以设置indices.recovery的其他参数加快恢复的速度。 但是某些情况下，如lu
阅读全文
posted @
2017-04-10 22:21
lnlvinso
阅读(1260)
推荐(0) 编辑
用Elasticsearch构建电商搜索平台，一个极有代表性的基础技术架构和算法实践案例[转]
摘要：原文链接：http://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653160642&idx=1&sn=608f4e6883c3d50a0b1db535aac416a4#rd
阅读全文
posted @
2017-03-31 16:14
lnlvinso
阅读(517)
推荐(0) 编辑
es head插件通过Nginx http basic 限制访问
摘要：原文链接： http://www.sojson.com/blog/213.html
阅读全文
posted @
2017-03-31 16:13
lnlvinso
阅读(327)
推荐(0) 编辑
es随想二
摘要：一、es运行状态的监控 es长时间批量入库时，需要对入库的性能进行监控，否则可能导致es重启，入库任务失败。 可以编写shell脚本，每分钟用cat命令监控pending的数量，数量逐渐增大时就需要注意。 还可以监控translog文件的大小，当translog文件不断增大，而不新建新的transl
阅读全文
posted @
2017-02-15 22:24
lnlvinso
阅读(188)
推荐(0) 编辑
es随想一
摘要：一、安全问题 前段时间网上看到的，大量的MongoDB服务器和ElasticSearch服务器被黑客攻击，留下勒索信息。 ElasticSearch的2种客户端连接方式，transport方式默认的9300端口，rest方式默认的9200端口。如果端口不修改，对外面的访问基本是透明的。 自己觉得可行
阅读全文
posted @
2017-02-09 21:57
lnlvinso
阅读(149)
推荐(0) 编辑
