滴水穿石不是靠力，而是因为不舍昼夜。

摘要： 1.server is not ready yet 日志显示 {"type":"log","@timestamp":"2022-04-25T15:48:07Z","tags":["warning","migrations"],"pid":3580,"message":"Another Kibana 阅读全文

摘要： 1、ES 查询操作 1.1、过滤—先匹配，再过滤 GET movie_index/_search { "query": { "match": { "name": "red" } }, "post_filter": { "term": { "actorList.id": "3" } } } 1.2、过 阅读全文

摘要： 1、ElasticSearch 基础概念 1.1、近实时（Near Realtime/NRT） ElasticSearch 是一个近实时的搜索平台。从生成文档索引到文档可搜索，有一个轻微的延迟（通常1s） 1.2、集群（Cluster）. ES 默认就是集群状态，整个集群是一份完整、互备的数据。集群 阅读全文

摘要： 1、ElasticSearch 基础 1.1、简介 Elasticsearch是一个高度可伸缩的开源全文搜索引擎。Elasticsearch让你可以快速、实时地存储、搜索和分析大量数据，它通常作为互联网应用的内部搜索引擎，为需要复杂搜索功能的应用提供支持。ElasticSearch是一个基于Luce 阅读全文

摘要： 1、日志数据模拟生成 这里模拟日志的思路和采集一样，但是并没有直接将日志生成到文件，而是将日志发送给某一个指定的端口，需要大数据程序员了解流程 (1) 拷贝模拟器(用户行为)内容到hadoop201的/opt/module/rt_applog目录 -rw-rw-r--. 1 hui hui 607 阅读全文

摘要： 1、实时&离线 1.1、离线 离线计算就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级比较大，计算时间相对较长。例如月初对上月整月，凌晨对前一整天的数据进行计算，最经典的就是Hadoop的 MR 方式。一般是根据前一日/月的数据生成报表，虽然统计的指标报表繁多，但是时效性不高。 阅读全文

摘要： DStream 操作和RDD的操作很类似，分为 Transformations 转换和 Output Operations 输出两种，此外转换操作中还有一些比较复杂的算子，如：updateStateByKey(),transform()以及各种 Window 相关算子。 1、无状态转换操作 无状态转 阅读全文

摘要： 1、通过RDD队列创建DStream 测试过程中，可以通过使用ssc.queueStream(queueOfRDDs)来创建DStream，每一个推送到这个队列中的RDD，都会作为一个DStream处理。 创建方式 def main(args: Array[String]): Unit = { va 阅读全文

摘要： 1、Spark Streaming 概述 1.1、离线&实时 离线计算：计算开始前已知所有输入数据，输入数据不会发生变化，一般计算量级较大，计算时间较长，例如月初对上月整月数据或者一天凌晨对前一天数据进行分析计算。一般使用常用hive作为分析引擎。 实时计算：输入数据是可以以序列化的方式一个个并行的 阅读全文

摘要： 1、调优的意义 在大数据分析计算领域，Spark已经成为主流的，非常受欢迎的计算引擎之一。Spark的功能涵盖了大数据领域的批处理、类SQL处理、实时计算、机器学习、图计算等多种不同类型的计算操作，应用范围广泛、前景一片大好，今天许多公司作为主流计算引擎使用，大多数Spark使用者，最初都是想提高计 阅读全文