批量pg2pg增量同步 DataX.json配置文件:pg2pg_increment_sync.json { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "postgres Read More
ES路由计算与分片控制 ES存储数据到哪一块分片是按照当前数据的hash值与分片书取模决定的,即路由计算 = hash(id) % 分片数。 当某块分片具备的该条数据,那它的副本都会存在,因此这就引申出了分片控制? 只要该台机器的副本有数据,就能访问到,因此分片控制最好控制再每台机器都存有某块分片的 Read More
批量索引文档 如果你有大量文档要索引,你能通过批量 API(bulk API) 来批量提交它们。批量文档操作比单独提交请求显著更快,因为它极简了网络往返。 最佳的批量数量取决于许多因素:文档的大小和复杂度、索引和搜索的负载以及集群可用资源。一种好的方式是批量处理 1,000 到 5,000 个文档, Read More
创建索引 curl -X PUT http://localhost:9200/shopping 创建索引使用-X参数指定PUT请求,ES7.x后默认创建索引是1个分片数 PUT请求是幂等性的,如果重复创建,会报错 Linux中用curl命令操作ES需指定用户名密码(本文省略),具体样例如下: cur Read More
RestAPI简单介绍 REST的作用是将我们上面提到的查看(view),创建(create),编辑(edit)和删除(delete)直接映射到HTTP 中已实现的GET,POST,PUT和DELETE方法。 这四种方法是比较常用的,HTTP总共包含八种方法: GET POST PUT DELETE Read More
Elasticsearch是一个基于Lucene的搜索服务器,提供了一个分布式多租户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计Elasticsearch的目的是通过简单 Read More
最近Spark任务调度任务跑的时间比平时慢很多,查看SparkUI发现有大量的Task被异常终止,查看日志发现了有几个问题,记录一下。 根据日志,主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 Read More
Docker常用命令 常规帮助启动类命令 启|停|重启|状态|开机自启命令 systemctl start|stop|restart|status|enable docker 查看docker概要信息 docker info 查看docker总体帮助文档 docker --help 查看docker Read More
初识Docker 这里推荐一个Docker中午文档 何为Docker Docker 使用 Google 公司推出的 Go 语言 进行开发实现,基于 Linux 内核的 cgroup,namespace,以及 OverlayFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系 Read More
筛选中文内容 匹配一个或多个非中文字符 SELECT * FROM table1 WHERE field1 ~ '[^\u4e00-\u9fa5]+'; [\u4e00-\u9fa5] 表示匹配中文字符,加上前面的取反符号 ^ 即表示匹配不是中文字符,+表示一个或多个。\u4e00-\u9fa5 是 Read More