Lemo_wd - 博客园

ELK(R) 实现分布式 Nginx 日志

摘要： ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步阅读全文

posted @ 2020-06-26 16:59 Lemo_wd 阅读(346) 评论(0) 推荐(0)

Flume 操作示例

摘要：一、案例1之 Spool Spool 监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点：拷贝到 spool 目录下的文件不可以再打开编辑。 spool 目录下不可包含相应的子目录。配置文件 jobs/spool.conf a1.sources = r1 a1.channels 阅读全文

posted @ 2020-06-21 20:51 Lemo_wd 阅读(208) 评论(0) 推荐(0)

vbox 中 linux 网络环境配置

摘要：安装好虚拟机后。在虚拟机关机的状态下，在该虚拟机上右键选择设置，配置网络这里需要设置两块网卡网卡1:用于虚拟机访问外网网卡2:用于主机访问内网，以及内网间访问配置主机网络管理>主机网络管理器（我用的是 vboxnet0）手动配置网卡，不启用 dhcp服务器配置网卡信息网卡1，使用 N 阅读全文

posted @ 2020-06-15 09:08 Lemo_wd 阅读(517) 评论(0) 推荐(0)

rabbitmq 延迟队列插件

摘要：基本环境的部署请参考 RabbitMQ 入门添加并启动该插件 wget --no-check-certificate --content-disposition https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/releas 阅读全文

posted @ 2020-05-30 20:13 Lemo_wd 阅读(1611) 评论(0) 推荐(0)

消息队列客户端开发向导二（基于 Spring 的 amqp 实现）

摘要：前篇消息队列客户端开发向导（基于 Spring 的 amqp 实现）一、应答模式与重试机制 NONE 自动应答即 autoAck 等于 true，rabbitmq 会自动把发送出去的消息置为确认，然后从内存/磁盘中删除，而不管消费者是否真正消费了消息。 MANUAL 需要手动 ACK/NACK 阅读全文

posted @ 2020-05-29 22:22 Lemo_wd 阅读(857) 评论(0) 推荐(0)

杂谈 —— 接口与回调的联系

摘要：接口：调用方不需要知道方法如何实现，实现方不需要知道怎么被调用。因此我们定义一个标准，这个标准同时约束调用方与实现方。回调：回调通常指回调函数。回调是一种通信机制：父组件拥有函数的解释权（用来做什么），子组件拥有函数调用权（什么时候传）以及传参权（传什么）。当参数为一个具体的值或对象时，比如鼠标点阅读全文

posted @ 2020-05-19 21:21 Lemo_wd 阅读(468) 评论(0) 推荐(0)

Flink 操作 —— 水印

摘要：内置水印生成器 1.有序生成只需提取事件时间的时间戳作为水印即可。 java DataStream<MyEvent> stream = ... DataStream<MyEvent> withTimestampsAndWatermarks = stream.assignTimestampsAndW 阅读全文

posted @ 2020-04-06 17:02 Lemo_wd 阅读(1041) 评论(0) 推荐(0)

Flink 操作 —— 计算函数

摘要：一、窗口流 WindowedStream 通常由 keyedStream + windowAssigner函数生成。运行时将与 KeyedStream 和窗口上的操作合并为一个操作。 aggregate 用于按字段或者按位置（元组）对流聚合/分组 private def aggregate(aggr 阅读全文

posted @ 2020-04-06 09:33 Lemo_wd 阅读(1657) 评论(0) 推荐(0)

Flink 基础概念 —— 窗口(续)

摘要：内置方法 WindowedStream 通过 KeyedStream 可以直接创建 Count Window和 Time Window。他们最终都是基于 window(WindowAssigner)方法创建，在window方法中创建 WindowedStream实例，参数使用当前的 KeyedStr 阅读全文

posted @ 2020-03-31 08:38 Lemo_wd 阅读(748) 评论(0) 推荐(0)

Flink 基础概念 —— 窗口

摘要：时间概念事件时间、处理时间与进入时间（进入处理系统的时间)。有些程序（如预警程序）允许小的误差（事件迟到），并且希望尽快得到结果，考虑使用处理时间语义。欺诈检测系统或账单系统对准确性要求高，只有在时间窗口内发生的事件才能被算进来，考虑使用事件时间语义。窗口 1.时间窗口时间窗口是最简单和最阅读全文

posted @ 2020-03-28 18:00 Lemo_wd 阅读(555) 评论(0) 推荐(0)