随笔分类 - 大数据/架构师
摘要:kafka这些准备好 flink下载 1.16.2 https://www.apache.org/dyn/closer.lua/flink/flink-1.16.2/flink-1.16.2-bin-scala_2.12.tgz 1.9.1 https://archive.apache.org/di
阅读全文
摘要:今天我们来分析一下这个问题。 先来回忆一下kafka 中消息传输的整个过程 1、kafka 在producer 端产生消息,调用kafka producer client send方法发送消息 2、kafka producer client 使用一个单独的线程,异步的将消息发送给kafka serv
阅读全文
摘要:原文: https://laowan.blog.csdn.net/article/details/120847437 前言 前面介绍了ES的简单使用,并说明了ES聚合查询主要分为3类:指标聚合、桶聚合和管道聚合。 本文主要是介绍其中桶聚合的相关使用。 一、桶聚合 Bucket 聚合不像Metric聚
阅读全文
摘要:原文: https://laowan.blog.csdn.net/article/details/120845124 前言 本文主要介绍ES中的聚合查询。 一、聚合查询简介 聚合查询可以将数据汇总为度量、统计或其他分析。 聚合查询主要分为三个类别: Metric 指标聚合 Bucket 桶聚合 Pi
阅读全文
摘要:看了本文,你将掌握 1、ES有哪些聚合类型?Bucket、Metric、Pipeline Aggregations 各自的特点是什么?? 2、Bucket Aggs 有哪些种类?各自的使用场景是什么? 3、Bucket Aggs 各种类型的重要参数有哪些?注意事项是什么? 01 ES聚合类型简介 一
阅读全文
摘要:Term级别查询 term这个单词汉语翻译是术语、条款等意思,在es中翻译过来我总感觉怪怪的。es官网将ids、term、terms、fuzzy等查询方式放在这个分类下,他们是dsl语句中最基本的语句,大都是单条件查询。其中ids、esists、range、term、terms等查询方式是精确匹配,
阅读全文
摘要:索引的创建需要配置mapping与setting两部分。 索引的mapping 常用数据类型 text、keyword、number、array、range、boolean、date、geo_point、ip、nested、object。 text:默认会进行分词,支持模糊查询(5.x之后版本str
阅读全文
摘要:相关的原理介绍 https://blog.csdn.net/UbuntuTouch/article/details/103641544 线上问题 doc count没有增加,但storage size 一直在增加,也就是说,数据是来了,但是还没形成文档,这其实跟ES需要把数据分片到每个块以及插入时索
阅读全文
摘要:Kafka配置文件详解(1) producer.properties:生产端的配置文件 #指定kafka节点列表,用于获取metadata,不必全部指定#需要kafka的服务器地址,来获取每一个topic的分片数等元数据信息。metadata.broker.list=kafka01:9092,kaf
阅读全文
摘要:kafka消息超过一定大小会报错如下: The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.reques
阅读全文
摘要:平时运维也许经常用到DSL 创建索引 PUT all_logs/?pretty 创建索引并指定字段类型 PUT all_logs2/_mapping { "properties": { "uuid":{ "type": "keyword" } } } 删除文档 POST all_logs/_dele
阅读全文
摘要:先说结论:字段类型更改为 'keyword' elasticSearch官方文档中创建index代码如下 PUT /my_store { "mappings" : { "products" : { "properties" : { "productID" : { "type" : "string",
阅读全文
摘要:package com.it.es; import org.elasticsearch.action.bulk.BulkItemResponse; import org.elasticsearch.action.bulk.BulkRequestBuilder; import org.elastics
阅读全文
摘要:一、过滤器能干什么 HBase为筛选数据提供了一组过滤器,通过过滤器可以在HBase中的数据的多个维度(行,列,数据版本)上进行对数据的筛选操作。 通常来说,通过行键、列来筛选数据的应用场景较多。 二、常见的过滤器 ###基于行的过滤器 PrefixFilter: 行的前缀匹配 PageFilter
阅读全文
摘要:1、从两个实战问题开始.... 问题1:elasticsearch-head 插件索引文档数显示结果不一致? 一个:3429 ,一个:5291,什么意思? 问题2:批量写入 ES 数据,大量文档状态变成 deleted,什么原因? 数据库读数据,批量插入到es里,id自定义用的数据库的主键值,批量插
阅读全文
摘要:1.Elasticsearch下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gz 2.将Elasticsearch压缩包上传到linux服务器,然后解压到
阅读全文
摘要:1. 通过Flink Sql 将mysql 的数据同步到ElasticSearch 中 套路 在这里插入图片描述 官网示例:官网地址:https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/e
阅读全文
摘要:进入hbase 控制台 hbase shell 在HBase插入数据时,先输入数据的格式为rowkey ⇒ info ⇒ column ⇒ value rowkey:行键,唯一且不重复 info:列族(数量一般不超过3个) column:列(在列族下,一个列族下可有许多个列) value:值 tim
阅读全文
摘要:背景 需要将Hbase的数据同步到es,但是又不想把flink程序放到hadoop集群,简单讲 就是开发侧,把大数据侧的工作干了。。。 1. 环境 废话不多说,这里用到的环境如下(不确定是否都必要,但是至少我是这个环境) zookeeper 3.6.2 Hbase 2.4.0 Flink 1.12.
阅读全文
摘要:一切设计都是为了提高搜索的性能 倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地来讲,正向索引是通过key找value,反向索引则是通过value找key。 先来回忆一下我们是怎么插入一条索引记录的: curl -X PUT "localhost:9200/use
阅读全文