批量索引文档 如果你有大量文档要索引,你能通过批量 API(bulk API) 来批量提交它们。批量文档操作比单独提交请求显著更快,因为它极简了网络往返。 最佳的批量数量取决于许多因素:文档的大小和复杂度、索引和搜索的负载以及集群可用资源。一种好的方式是批量处理 1,000 到 5,000 个文档, Read More
posted @ 2024-02-22 16:18 MrSponge Views(73) Comments(0) Diggs(0) Edit
创建索引 curl -X PUT http://localhost:9200/shopping 创建索引使用-X参数指定PUT请求,ES7.x后默认创建索引是1个分片数 PUT请求是幂等性的,如果重复创建,会报错 Linux中用curl命令操作ES需指定用户名密码(本文省略),具体样例如下: cur Read More
posted @ 2024-02-22 16:17 MrSponge Views(207) Comments(0) Diggs(0) Edit
RestAPI简单介绍 REST的作用是将我们上面提到的查看(view),创建(create),编辑(edit)和删除(delete)直接映射到HTTP 中已实现的GET,POST,PUT和DELETE方法。 这四种方法是比较常用的,HTTP总共包含八种方法: GET POST PUT DELETE Read More
posted @ 2024-02-22 16:15 MrSponge Views(58) Comments(0) Diggs(0) Edit
Elasticsearch是一个基于Lucene的搜索服务器,提供了一个分布式多租户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计Elasticsearch的目的是通过简单 Read More
posted @ 2024-02-22 16:14 MrSponge Views(25) Comments(0) Diggs(0) Edit
最近Spark任务调度任务跑的时间比平时慢很多,查看SparkUI发现有大量的Task被异常终止,查看日志发现了有几个问题,记录一下。 根据日志,主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 Read More
posted @ 2024-01-09 11:22 MrSponge Views(526) Comments(0) Diggs(0) Edit
Docker常用命令 常规帮助启动类命令 启|停|重启|状态|开机自启命令 systemctl start|stop|restart|status|enable docker 查看docker概要信息 docker info 查看docker总体帮助文档 docker --help 查看docker Read More
posted @ 2023-12-25 21:35 MrSponge Views(113) Comments(0) Diggs(0) Edit
初识Docker ​ 这里推荐一个Docker中午文档 何为Docker ​ Docker 使用 Google 公司推出的 Go 语言 进行开发实现,基于 Linux 内核的 cgroup,namespace,以及 OverlayFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系 Read More
posted @ 2023-12-11 15:02 MrSponge Views(25) Comments(0) Diggs(0) Edit
筛选中文内容 匹配一个或多个非中文字符 SELECT * FROM table1 WHERE field1 ~ '[^\u4e00-\u9fa5]+'; [\u4e00-\u9fa5] 表示匹配中文字符,加上前面的取反符号 ^ 即表示匹配不是中文字符,+表示一个或多个。\u4e00-\u9fa5 是 Read More
posted @ 2023-12-06 18:08 MrSponge Views(575) Comments(0) Diggs(0) Edit
在Linux系统中通过 vim 进行文本替换 本文转自:https://www.cnblogs.com/wind-wang/p/5768000.html 在vim中,可以通过:set nu或:set number的命令来显示文本的行号 在VIM中进行文本替换: 1. 替换当前行中的内容: :s/fr Read More
posted @ 2023-12-04 11:39 MrSponge Views(226) Comments(0) Diggs(0) Edit
前言 PostgreSQL官方文档:http://www.postgres.cn/docs/11/functions-comparison.html 今天在预览PostgreSQL文档的时候看到了这个功能,平时写SQL都是a is [not] null来进行判断的,第一次见到可以这样,觉得挺新奇的就 Read More
posted @ 2023-11-27 11:22 MrSponge Views(87) Comments(0) Diggs(0) Edit