摘要: 1. 文档 ElasticSearch是面向文档的,文档是所有可搜索数据的最小单位 文档会被序列化成JSON格式,保存在ES中 每个文档都有一个unique ID #查看前10条文档,了解文档格式 POST kibana_sample_data_ecommerce/_search { } 1.1 文 阅读全文
posted @ 2022-10-18 21:03 算法小生 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 对于之前的部署方式一般用于生产环境,而对于学习而言Docker方式快速部署就好了,本示例在window10环境下进行。 1. Docker使用Elasticsearch 需要对vm.max_map_count进行如下配置 # Windows and macOS with Docker Desktop 阅读全文
posted @ 2022-10-18 21:03 算法小生 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 1. 在master节点上创建秘钥库 export ES_PATH_CONF="/home/elasticsearch/config" && /usr/local/elasticsearch-7.6.2/bin/elasticsearch-keystore create 2. 在所有节点中开启ssl 阅读全文
posted @ 2022-10-18 21:02 算法小生 阅读(143) 评论(0) 推荐(0) 编辑
摘要: 第一步:安装JDK JDK要求jdk1.8+,不安装也可以,ES自带JDK 第二步:系统配置 2.1 禁用交换区 sudo swapoff -a 2.2 开最大文件数的限制 编辑文件 /etc/security/limits.conf把nofile设置为65536 或者执行 echo "* soft 阅读全文
posted @ 2022-10-18 21:02 算法小生 阅读(195) 评论(0) 推荐(0) 编辑
摘要: Groovy作为脚本,比Java在数据处理中具有更高的灵活性 // 获取mongo连接略 .... def count = 0 for(Township town : townships) { Document updateBson = new Document() Document update 阅读全文
posted @ 2022-10-18 21:01 算法小生 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 在实际的工作中,难免批量更新的数量极大,pymongo提供了便捷的客户端供使用 假设读者对pandas比较熟悉,下图为事先准备好的dataframe import pandas as pd from pymongo import MongoClient from bson.codec_options 阅读全文
posted @ 2022-10-18 20:59 算法小生 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 1. 查看当前状态 1.1 查看配置信息 mongos> use config // 查看分片 mongos> db.shards.find() { "_id" : "study", "host" : "study/localhost:27018,localhost:27019,localhost: 阅读全文
posted @ 2022-10-17 20:19 算法小生 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 1. 查看当前操作 mongos> db.currentOp() { "inprog" : [ { "shard" : "study", "type" : "op", "host" : "2bffe09ec303:27019", "desc" : "ReplBatcher", "active" : 阅读全文
posted @ 2022-10-17 20:19 算法小生 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1. 片键类型 1.1 升序片键 升序片键通常类似于date或ObjectId--随着时间稳步增长的字段。 这种模式通常会使MongoDB更难保持块的平衡,因为所有的块都是由一个分片创建的。 1.2 随机分发的片键 随机分发的键可以是用户名,电子邮件地址,UUID,MD5哈希值等 由于写操作是随机分 阅读全文
posted @ 2022-10-17 20:18 算法小生 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 1. 启动服务器 1.1 启动配置服务器 配置服务器是集群的大脑,保存着关于每个服务器包含哪些数据的所有元数据,因此,必须首先创建配置服务器。 由于资源限制,在同一机器上启动三个进程 # mkdir /home/mongo/cs1 # mkdir /home/mongo/cs2 # mkdir /h 阅读全文
posted @ 2022-10-17 20:18 算法小生 阅读(106) 评论(0) 推荐(0) 编辑