摘要: 1. 索引模板创建索引 可以通过http://127.0.0.1:5601/app/management/data/index_management/templateskibana工具进行创建索引模板 也可以自定义语句,如创建poi索引模板 POST _index_template/poi { "i 阅读全文
posted @ 2022-10-18 21:05 算法小生 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 1. Analysis与Analyzer Analysis: 文本分析是把全文本转换一系列单词(term/token)的过程,也要分词 Analysis是通过Analyzer来实现的。可使用ElasticSearch内置分析器或按需定制化分析器 除了在数据写入时转换词条,匹配Query语句时候也需要 阅读全文
posted @ 2022-10-18 21:05 算法小生 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 1. 倒排索引简介 对于书通过目录查找对应章节内容的方式属于正排索引,而对于想查询文本,如我爱中国在书籍中出现的次数与具体位置,则是倒排索引的范畴。 2. 倒排索引核心组成 单词词典(Term Dictionary) 记录所有文档的单词,记录单词到倒排列表的关联关系。单词词典一般比较大,可以通过B+ 阅读全文
posted @ 2022-10-18 21:04 算法小生 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 1. 文档写入 # create document. 自动生成 _id POST users/_doc { "user" : "shenjian", "post_date" : "2022-08-07T14:12:12", "message" : "trying out Kibana" } # 创建 阅读全文
posted @ 2022-10-18 21:04 算法小生 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 1. 文档 ElasticSearch是面向文档的,文档是所有可搜索数据的最小单位 文档会被序列化成JSON格式,保存在ES中 每个文档都有一个unique ID #查看前10条文档,了解文档格式 POST kibana_sample_data_ecommerce/_search { } 1.1 文 阅读全文
posted @ 2022-10-18 21:03 算法小生 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 对于之前的部署方式一般用于生产环境,而对于学习而言Docker方式快速部署就好了,本示例在window10环境下进行。 1. Docker使用Elasticsearch 需要对vm.max_map_count进行如下配置 # Windows and macOS with Docker Desktop 阅读全文
posted @ 2022-10-18 21:03 算法小生 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 1. 在master节点上创建秘钥库 export ES_PATH_CONF="/home/elasticsearch/config" && /usr/local/elasticsearch-7.6.2/bin/elasticsearch-keystore create 2. 在所有节点中开启ssl 阅读全文
posted @ 2022-10-18 21:02 算法小生 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 第一步:安装JDK JDK要求jdk1.8+,不安装也可以,ES自带JDK 第二步:系统配置 2.1 禁用交换区 sudo swapoff -a 2.2 开最大文件数的限制 编辑文件 /etc/security/limits.conf把nofile设置为65536 或者执行 echo "* soft 阅读全文
posted @ 2022-10-18 21:02 算法小生 阅读(196) 评论(0) 推荐(0) 编辑
摘要: Groovy作为脚本,比Java在数据处理中具有更高的灵活性 // 获取mongo连接略 .... def count = 0 for(Township town : townships) { Document updateBson = new Document() Document update 阅读全文
posted @ 2022-10-18 21:01 算法小生 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 在实际的工作中,难免批量更新的数量极大,pymongo提供了便捷的客户端供使用 假设读者对pandas比较熟悉,下图为事先准备好的dataframe import pandas as pd from pymongo import MongoClient from bson.codec_options 阅读全文
posted @ 2022-10-18 20:59 算法小生 阅读(74) 评论(0) 推荐(0) 编辑