摘要:
### 下载 [下载地址](https://www.elastic.co/cn/downloads/past-releases#filebeat),这里我们使用7.4.2版本。 ### 配置控制台输出 FileBeat就是一个采集工具,使用起来很简单,只需要指定input和output,也就是指定输 阅读全文
摘要:
下面我们就从第一个模块,数据采集模块开始。 注意:在实际工作中,数据采集模块不是只针对某一个项目而言的,而是一个公共的采集平台,所有项目依赖的数据全部是来源于数据采集模块,所以在设计采集模块的时候要考虑通用性。 ### 数据采集架构详细分析 在具体开始之前,我们还要再分析一些内容 我们前面在分析整体 阅读全文
摘要:
针对这个项目中用到的技术组件,只有filebeat和neo4j我们没有使用过 不过filebeat比较简单,类似于flume,在使用的时候主要是写配置文件,所以在后面用到的时候我们再具体分析。 下面我们来学习一下neo4j的使用,快速了解它并掌握它的常见用法。 ### Neo4j介绍 Neo4j是一 阅读全文
摘要:
### 项目效果 在直播平台中,用户在主播页面关注该主播时,粉丝状态栏下方插入三度关系推荐模块,显示该主播的粉丝同时又关注了哪些主播,按照推荐重合度且满足一定的筛选条件进行择优展示,这样推荐的主播才是用户最可能会喜欢的。 这样可以帮助用户发现更多他喜欢的主播,促进用户活跃,进而挖掘用户消费潜力。 # 阅读全文
摘要:
### Window(窗口) Flink 认为 批处理 是 流处理 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。 通常来讲,Window是一种可以把无界数据切割为有界数据块的手段 例如,对流中的所有元素进行计 阅读全文
摘要:
### Table API & SQL 注意:Table API 和 SQL 现在还处于活跃开发阶段,还没有完全实现Flink中所有的特性。不是所有的 [Table API,SQL] 和 [流,批] 的组合都是支持的。 Table API和SQL的由来: Flink针对标准的流处理和批处理提供了两种 阅读全文
摘要:
### DataSet API DataSet API主要可以分为3块来分析:DataSource、Transformation、Sink。 DataSource是程序的数据源输入。 Transformation是具体的操作,它对一个或多个输入数据源进行计算处理,例如map、flatMap、filt 阅读全文
摘要:
![image](https://img2023.cnblogs.com/blog/1681090/202305/1681090-20230505134817382-548354137.png) Flink中提供了4种不同层次的API,每种API在简洁和易表达之间有自己的权衡,适用于不同的场景。目前 阅读全文
摘要:
### Flink集群安装部署 Flink支持多种安装部署方式 - Standalone - ON YARN - Mesos、Kubernetes、AWS… 这些安装方式我们主要讲一下standalone和on yarn。 如果是一个独立环境的话,可能会用到standalone集群模式。 在生产环境 阅读全文
摘要:
### 什么是Flink Apache Flink 是一个开源的分布式,高性能,高可用,准确的流处理框架。 分布式:表示flink程序可以运行在很多台机器上, 高性能:表示Flink处理性能比较高 高可用:表示flink支持程序的自动重启机制。 准确的:表示flink可以保证处理数据的准确性。 Fl 阅读全文