2020 年 3月随笔档案 - Ruthless

maven settings.xml

摘要：<?xml version="1.0" encoding="UTF-8"?> <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the 阅读全文

posted @ 2020-03-30 20:25 Ruthless 阅读(241) 评论(0) 推荐(0) 编辑

Flink Window那些事——ProcessWindowFunction/ProcessAllWindowFunction

摘要：全量聚合: 窗口需要维护全部原始数据，窗口触发进行全量聚合。 ProcessWindowFunction获得一个包含窗口所有元素的可迭代器，以及一个具有时间和状态信息访问权的上下文对象，这使得它比其他窗口函数提供更大的灵活性。这是以性能和资源消耗为代价的，因为元素不能增量地聚合，而是需要在内部缓冲，阅读全文

posted @ 2020-03-29 12:47 Ruthless 阅读(10196) 评论(2) 推荐(0) 编辑

Flink Window那些事——AggregateFunction窗口函数

摘要：AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。输入类型是输入流中的元素类型，AggregateFunction有一个add方法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累阅读全文

posted @ 2020-03-29 12:44 Ruthless 阅读(8330) 评论(3) 推荐(4) 编辑

Flink Window那些事——ReduceFunction窗口函数

摘要：ReduceFunction含义ReduceFunction定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程，Flink使用ReduceFunction来对窗口中的元素进行增量聚合 package com.lynch.stream.window; import org.apache. 阅读全文

posted @ 2020-03-29 11:13 Ruthless 阅读(4083) 评论(1) 推荐(1) 编辑

Flink Window那些事——窗口函数

摘要：Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如: ReduceFunction、AggregateFunction。全量聚合阅读全文

posted @ 2020-03-29 11:08 Ruthless 阅读(1578) 评论(0) 推荐(0) 编辑

波段指标

该文被密码保护。

posted @ 2020-03-28 23:14 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑

Flink Window那些事——Window小分类(Window Assinger类型)

摘要：1、Window Assinger是干啥的当你决定stream是否keyby之后，window是没有构建的，你还需要指定一个window Assinger用于定义元素如何分配到窗口中。 2、window Assinger如何指定？Keyedstream：window(WindowAssigner) 阅读全文

posted @ 2020-03-28 21:57 Ruthless 阅读(873) 评论(0) 推荐(0) 编辑

Flink Window那些事——Window大分类/生命周期/分配器

摘要：1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这阅读全文

posted @ 2020-03-28 12:00 Ruthless 阅读(981) 评论(0) 推荐(1) 编辑

正式环境执行脚本

该文被密码保护。

posted @ 2020-03-27 20:26 Ruthless 阅读(2) 评论(1) 推荐(0) 编辑

nginx配置相同端口号访问多个项目

摘要：Nginx配置相同端口号访问多个工程，多个工程在不同的tomcat，而且访问路径不同，特此记录一下配置过程。 upstream server33068 { server 172.16.0.10:33068; } upstream server33069 { server 172.16.0.10:33 阅读全文

posted @ 2020-03-27 11:38 Ruthless 阅读(9910) 评论(0) 推荐(0) 编辑

docker-start.sh

摘要：#! /bin/bash /usr/bin/mk-docker-opts.sh -c systemctl daemon-reload systemctl restart docker systemctl status docker 阅读全文

posted @ 2020-03-26 19:53 Ruthless 阅读(881) 评论(0) 推荐(0) 编辑

Flink从socket读取数据sink到redis

摘要：import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr 阅读全文

posted @ 2020-03-25 21:49 Ruthless 阅读(1990) 评论(1) 推荐(0) 编辑

Apache Flink DataStream API

摘要：Apache Flink DataStream API 阅读全文

posted @ 2020-03-25 10:50 Ruthless 阅读(226) 评论(0) 推荐(0) 编辑

Flink基本API的使用二

摘要：上一篇介绍了编写 Flink 程序的基本步骤，以及一些常见 API，如：map、filter、keyBy 等，重点介绍了 keyBy 方法。本篇将继续介绍 Flink 中常用的 API，主要内容为： 1.指定 transform 函数2.Flink 支持的数据类型3.累加器 1、指定 transfo 阅读全文

posted @ 2020-03-24 11:37 Ruthless 阅读(1299) 评论(0) 推荐(0) 编辑

mysql安装

该文被密码保护。

posted @ 2020-03-22 10:30 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑

redis安装

该文被密码保护。

posted @ 2020-03-21 22:49 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑

nginx安装

该文被密码保护。

posted @ 2020-03-21 22:44 Ruthless 阅读(2) 评论(0) 推荐(0) 编辑

百度云使用DockerHub加速器

摘要：如何使用DockerHub镜像加速器docker软件源地址：https://mirror.baidubce.com 适用于 Centos7 修改Docker配置文件vim /etc/sysconfig/docker, 添加下面 OPTIONS='--registry-mirror=https://m 阅读全文

posted @ 2020-03-21 22:32 Ruthless 阅读(1906) 评论(0) 推荐(0) 编辑

Flink基本API的使用一

摘要：Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的，而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream 阅读全文

posted @ 2020-03-15 17:25 Ruthless 阅读(1075) 评论(0) 推荐(0) 编辑

java List 按指定长度分割

摘要：public static <T> List<List<T>> splitList(List<T> list, int groupSize){ int length = list.size(); // 计算可以分成多少组 int num = ( length + groupSize - 1 )/gr 阅读全文

posted @ 2020-03-11 15:47 Ruthless 阅读(14339) 评论(0) 推荐(0) 编辑

hadoop高可用集群搭建

摘要：1、集群规划1.1、主机配置环境 172.16.0.11 node60 172.16.0.13 node89 172.16.0.8 node145 1.2、安装后启动的进程 2、修改host文件希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。阅读全文

posted @ 2020-03-08 21:11 Ruthless 阅读(3014) 评论(0) 推荐(0) 编辑

aaa

摘要：Flink ON YARN模式一、安装Flink 1、下载 1.1、下载 flink 包官网地址：https://archive.apache.org/dist/flink/ 采用flink-1.8.0-bin-scala_2.11.tgz安装，因目前Flink尚未集成hadoop2.9版本，因阅读全文

posted @ 2020-03-08 16:31 Ruthless 阅读(818) 评论(0) 推荐(0) 编辑

Flink batch/stream编程套路

摘要：DataSet and DataStream 这里以WordCount为例，共同的编程套路如下所示： 1.获取执行环境(execution environment) final StreamExecutionEnvironment env = StreamExecutionEnvironment.g 阅读全文

posted @ 2020-03-07 23:06 Ruthless 阅读(963) 评论(0) 推荐(0) 编辑

Apache Flink Local模式部署——批处理和流处理

摘要：Apache Flink部署模式有如下三种模式：Flink Local 模式 Flink Standalone 模式 Flink ON YARN 模式本文主要介绍Apache Flink的本地部署模式。本地部署模式主要用于开发者程序调试测试使用。 1、启动Flink $ cd D:\dev\fl 阅读全文

posted @ 2020-03-07 22:26 Ruthless 阅读(2866) 评论(0) 推荐(0) 编辑

Eclipse离线手动安装Scala插件

摘要：Eclipse离线手动安装Scala插件 http://scala-ide.org/download/prev-stable.html 阅读全文

posted @ 2020-03-06 15:11 Ruthless 阅读(1032) 评论(0) 推荐(0) 编辑

CentOS7 安装Scala

摘要：1、下载Scala2.11$ cd /root/soft$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、安装Scala2.11$ tar -xzvf scala-2.11.8.tgz 3、配置环境变量$ v 阅读全文

posted @ 2020-03-06 14:39 Ruthless 阅读(1539) 评论(0) 推荐(0) 编辑

Windows下安装Scala

摘要：Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中。 1、下载首先去官网http: 阅读全文

posted @ 2020-03-06 14:16 Ruthless 阅读(496) 评论(0) 推荐(0) 编辑

Flink安装及使用

摘要：1、官网下载Flink## 官网地址$ https://flink.apache.org/downloads.html ## 下载地址$ wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11 阅读全文

posted @ 2020-03-06 11:30 Ruthless 阅读(19105) 评论(2) 推荐(3) 编辑

搜索

常用链接

我的标签

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论