随笔分类 - es
摘要:一、命令的方式做分页 1、常见的分页方式:from+size elasticsearch默认采用的分页方式是from+size的形式,但是在深度分页的情况下,这种使用方式的效率是非常低的,比如from=5000,size=10,es需要在各个分片上匹配排序并得到5000*10条有效数据,然后在结果集
阅读全文
摘要:一、准备jar包:可以去mvn仓库下载 二、 进入hive添加jar 三、准备数据 四、创建与Elasticsearch对接test外部表 创建源数据表test1 hive> load data local inpath '/mnt/test.txt' into table test1;Loadin
阅读全文
摘要:一、说明: 一、Elasticsearch提供了两个JAVA REST Client版本: 1、java low level rest client: 低级别的rest客户端,通过http与集群交互,用户需自己编组请求JSON串,及解析响应JSON串。兼容所有Elasticsearch版本。 特点:
阅读全文
摘要:一、数据从文件导入elasticsearch 1、数据准备: 2、_bulk API导入ES的JSON文件需要满足一定的格式,每条记录之前,需要有文档ID且每一行\n结束 如果是在test.json文件中没有指定index名、type、id时: 但是id会自动生成 3、对于普通json文件的导入,可
阅读全文
摘要:一、问题描述 公司想尝试使用Elasticsearch来存一部分数据,以此缓解数据增长带来的对数据库的压力。在研究了一段时间后,发现Elasticsearch不适合作为数据存储使用。 二、理由如下 1、mapping不可改,不能改index属性。Elasticsearch中以定义的mapping不能
阅读全文
摘要:一、说明: 一、Elasticsearch提供了两个JAVA REST Client版本: 1、java low level rest client: 低级别的rest客户端,通过http与集群交互,用户需自己编组请求JSON串,及解析响应JSON串。兼容所有Elasticsearch版本。 特点:
阅读全文
摘要:这篇文章主要讨论使用Elasticdump工具做数据的备份和type删除。 Elasticsearch的备份,不像MYSQL的myslqdump那么方便,它需要一个插件进行数据的导出和导入进行备份和恢复操作,也就是插件:Elasticdump 1、Elasticdump的安装: 2、使用 3、ela
阅读全文
摘要:一、分词器 Elasticsearch中,内置了很多分词器(analyzers),例如standard(标准分词器)、english(英文分词)和chinese(中文分词),默认是standard. standard tokenizer:以单词边界进行切分 standard token filter
阅读全文
摘要:一、Primary shard和replica shard机制 1、index包含多个shard; 2、每个shard都是一个最小的工作单元,承载部分的数据,Lucene实例,完整的简历索引和处理请求的能力; 3、增减节点时,shard会自动在nodes中负载均衡; 4、primary shard和
阅读全文
摘要:一、数据准备 二、 测试 搜请求:年龄必须大于等于30,同时join_data必须是2016-01-01 结果: 可以看出Filter同样也能起到赛选的作用 三、Filter与Query对比 Filter,仅仅只是按照搜索条件过滤出需要的数据而已,不计算任何相关度分数,对相关度没有任何影响; Que
阅读全文
摘要:一、批量查询 有点:能够大大减少网络的请求次数,减少网络开销 1、自定义设置index、type以及document id,进行查询 查询结果,由于id唯一的document已经删除,所以查出id为2的文档 2、在对应的index、type下进行批量查询 注意:在ElasticSearch6.0以后
阅读全文
摘要:1、获取所有数据 2、创建一个Document 3、检索文档查询 4、替换文档(全量替换) 5、更新文档(_update) 6、删除文档 注意:在删除一个Document之后,它不是立即物理删除的,因为它的版本等信息还保留着 二、请求分类 GET ecommerce/product/_search{
阅读全文
摘要:说明: 1、elasticsearch 版本 6.3.1 2、在同一个index下创建两个type时报错,信息如下: 在创建第二个type:solr时,先前已经在相同索引下创建了一个type:es 3、原因 是由于6.0的版本不允许一个index下面有多个type,并且官方说是在接下来的7.0版本中
阅读全文
摘要:一、安装JDK1.8 二、安装ES 三个节点:master、slave01、slave02 1、这里下载的是elasticsearch-6.3.1.rpm版本包 https://www.elastic.co/cn/downloads/elasticsearchwget --no-check-cert
阅读全文
摘要:Elasticsearch是基于Json的分布式搜索和分析引擎,是利用倒排索引实现的全文索引。 优势: 横向可扩展性:增加服务器可直接配置在集群中 分片机制提供更好的分布性:分而治之的方式来提升处理效率 高可用:提供复制(replia)机制 实时性:通过将磁盘上的文件放入文件缓存系统来提高查询速度
阅读全文
摘要:一、节点退役当集群中个别节点出现故障预警等情况,需要进行退役工作,即让所有位于该退役节点上的分片的数据分配到其他节点上后,再将此节点关闭并从集群中移除。 1、ES提供了让某个节点上所有数据都移走的功能如下: ElasticSearch集群就会自动把这个节点上的所有分片,都自动转移到其他节点上,等到转
阅读全文
摘要:一、精确定位到有问题的shards 1、查看哪些分片未被分配 2、如果您运行的是Elasticsearch的5+版本,您还可以使用群集分配说明API来尝试获取有关分片分配问题的更多信息: 生成的输出将提供有关群集中某些分片未分配的原因的有用详细信息: 二、Elasticsearch中解析未分配的各个
阅读全文
摘要:一、指令部分: 1.search管理界面地址: http://172.20.230.110:9200/_plugin/head/ 2.集群状态查看命令: curl -XGET 'localhost:9200/_cluster/health?pretty' curl -XGET 'localhost:
阅读全文