批量pg2pg增量同步 DataX.json配置文件：pg2pg_increment_sync.json { "job": { "setting": { "speed": { "channel": 1 } }, "content": [ { "reader": { "name": "postgres Read More
ES路由计算与分片控制 ES存储数据到哪一块分片是按照当前数据的hash值与分片书取模决定的，即路由计算 = hash(id) % 分片数。 当某块分片具备的该条数据，那它的副本都会存在，因此这就引申出了分片控制？ 只要该台机器的副本有数据，就能访问到，因此分片控制最好控制再每台机器都存有某块分片的 Read More
批量索引文档 如果你有大量文档要索引，你能通过批量 API（bulk API） 来批量提交它们。批量文档操作比单独提交请求显著更快，因为它极简了网络往返。 最佳的批量数量取决于许多因素：文档的大小和复杂度、索引和搜索的负载以及集群可用资源。一种好的方式是批量处理 1,000 到 5,000 个文档， Read More
创建索引 curl -X PUT http://localhost:9200/shopping 创建索引使用-X参数指定PUT请求，ES7.x后默认创建索引是1个分片数 PUT请求是幂等性的，如果重复创建，会报错 Linux中用curl命令操作ES需指定用户名密码(本文省略)，具体样例如下： cur Read More
RestAPI简单介绍 REST的作用是将我们上面提到的查看（view），创建（create），编辑（edit）和删除（delete）直接映射到HTTP 中已实现的GET,POST,PUT和DELETE方法。 这四种方法是比较常用的，HTTP总共包含八种方法： GET POST PUT DELETE Read More
Elasticsearch是一个基于Lucene的搜索服务器，提供了一个分布式多租户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计Elasticsearch的目的是通过简单 Read More
最近Spark任务调度任务跑的时间比平时慢很多，查看SparkUI发现有大量的Task被异常终止，查看日志发现了有几个问题，记录一下。 根据日志，主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 Read More
Docker常用命令 常规帮助启动类命令 启|停|重启|状态|开机自启命令 systemctl start|stop|restart|status|enable docker 查看docker概要信息 docker info 查看docker总体帮助文档 docker --help 查看docker Read More
初识Docker 这里推荐一个Docker中午文档 何为Docker Docker 使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 OverlayFS 类的 Union FS 等技术，对进程进行封装隔离，属于 操作系 Read More
筛选中文内容 匹配一个或多个非中文字符 SELECT * FROM table1 WHERE field1 ~ '[^\u4e00-\u9fa5]+'; [\u4e00-\u9fa5] 表示匹配中文字符，加上前面的取反符号 ^ 即表示匹配不是中文字符，+表示一个或多个。\u4e00-\u9fa5 是 Read More