09 2021 档案
摘要：一、什么是kettle kettle也称PDI，数据整合工具 kettle的官网：https://community.hitachivantara.com/s/article/data-integration-kettle 二、kettle概念模型 1、kettle执行分为两个层次：Job（作业）和
阅读全文
摘要：一、canal介绍 1、canal主要用途是基于mysql数据库增量日志解析，提供增量数据订阅和消费。 早期阿里巴巴是因为杭州和美国双机房部署，存在跨机房同步的业务需求。 当前canal支持源端mysql版本包括5.1.x、5.5.x、5.6.x、5.7.x、8.0.x 2、canal没有独立的官网
阅读全文
摘要：一、嵌套类型查询Nested 1 #city为包含北京市 或者 包含太谷区的 省份信息 2 GET product/_search 3 { 4 "query": { 5 "nested": { 6 "path": "province", 7 "query": { 8 "nested": { 9 "p
阅读全文
摘要：一、前缀搜索 prefix前缀搜索的不是数据库中映射的文本，而是词项字典中的数据 前缀搜索不会计算相关度分数 1 GET my_index/_search 2 { 3 "query": { 4 "prefix": { 5 "text": { 6 "value": "城管" 7 } 8 } 9 } 1
阅读全文
摘要：一、三种聚合分类 1、分桶聚合：把具有一类或者某些属性的事物放到一个桶中 2、指标聚合：比较有代表性的指标作为聚合条件 3、管道聚合：对聚合的结果二次聚合 语法：buckets_path 二、三种聚合演示 1、桶聚合 2、指标聚合 1 #按照name去重的数量 2 GET product/_sear
阅读全文
摘要：一、normalization 1、图例 2、Kibana 二、字符过滤器 1、html过滤器 2、字符过滤器 3、正则过滤器 三、令牌过滤器 1、同义词 文本指定同义词替换 1 PUT /test_index 2 { 3 "settings": { 4 "analysis": { 5 "filte
阅读全文
摘要：一、ES查询上下文结果 took：当前请求消耗多少时间 time_out：当前请求是否超时 shards：分片 total：一共几个 successful：成功了几个 skipped：跳过几个 failed：失败几个 hits：真正返回给我们的结果 total value：返回几条结果 relati
阅读全文
摘要：一、概念 ES中的mapping类似关系型数据库中的表结构。 mapping中包含一些属性，如字段名称、类型、字段使用的分词器、是否评分、是否创建索引等属性 二、查看mapping GET /product/_mapping 三、ES数据类型 常见类型 1、数字类型：long、integer、sho
阅读全文
摘要：1 #创建product索引: 2 PUT /product?pretty 3 #删除product索引: 4 DELETE /product?pretty 5 #查询product索引下的数据信息: 6 GET /product/_search 7 #查询所有索引的信息: 8 GET _cat/i
阅读全文
