Ruthless - 博客园

2020年3月25日

摘要： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr 阅读全文

posted @ 2020-03-25 21:49 Ruthless 阅读(1973) 评论(1) 推荐(0) 编辑

Apache Flink DataStream API

摘要： Apache Flink DataStream API 阅读全文

posted @ 2020-03-25 10:50 Ruthless 阅读(223) 评论(0) 推荐(0) 编辑

2020年3月24日

Flink基本API的使用二

摘要：上一篇介绍了编写 Flink 程序的基本步骤，以及一些常见 API，如：map、filter、keyBy 等，重点介绍了 keyBy 方法。本篇将继续介绍 Flink 中常用的 API，主要内容为： 1.指定 transform 函数2.Flink 支持的数据类型3.累加器 1、指定 transfo 阅读全文

posted @ 2020-03-24 11:37 Ruthless 阅读(1258) 评论(0) 推荐(0) 编辑

2020年3月22日

mysql安装

该文被密码保护。阅读全文

posted @ 2020-03-22 10:30 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑

2020年3月21日

redis安装

该文被密码保护。阅读全文

posted @ 2020-03-21 22:49 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑

nginx安装

该文被密码保护。阅读全文

posted @ 2020-03-21 22:44 Ruthless 阅读(2) 评论(0) 推荐(0) 编辑

百度云使用DockerHub加速器

摘要：如何使用DockerHub镜像加速器docker软件源地址：https://mirror.baidubce.com 适用于 Centos7 修改Docker配置文件vim /etc/sysconfig/docker, 添加下面 OPTIONS='--registry-mirror=https://m 阅读全文

posted @ 2020-03-21 22:32 Ruthless 阅读(1889) 评论(0) 推荐(0) 编辑

2020年3月15日

Flink基本API的使用一

摘要： Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的，而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream 阅读全文

posted @ 2020-03-15 17:25 Ruthless 阅读(1063) 评论(0) 推荐(0) 编辑

2020年3月11日

java List 按指定长度分割

摘要： public static <T> List<List<T>> splitList(List<T> list, int groupSize){ int length = list.size(); // 计算可以分成多少组 int num = ( length + groupSize - 1 )/gr 阅读全文

posted @ 2020-03-11 15:47 Ruthless 阅读(14265) 评论(0) 推荐(0) 编辑

2020年3月8日

hadoop高可用集群搭建

摘要： 1、集群规划1.1、主机配置环境 172.16.0.11 node60 172.16.0.13 node89 172.16.0.8 node145 1.2、安装后启动的进程 2、修改host文件希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。阅读全文

posted @ 2020-03-08 21:11 Ruthless 阅读(2870) 评论(0) 推荐(0) 编辑

aaa

摘要： Flink ON YARN模式一、安装Flink 1、下载 1.1、下载 flink 包官网地址：https://archive.apache.org/dist/flink/ 采用flink-1.8.0-bin-scala_2.11.tgz安装，因目前Flink尚未集成hadoop2.9版本，因阅读全文

posted @ 2020-03-08 16:31 Ruthless 阅读(813) 评论(0) 推荐(0) 编辑

2020年3月7日

Flink batch/stream编程套路

摘要： DataSet and DataStream 这里以WordCount为例，共同的编程套路如下所示： 1.获取执行环境(execution environment) final StreamExecutionEnvironment env = StreamExecutionEnvironment.g 阅读全文

posted @ 2020-03-07 23:06 Ruthless 阅读(956) 评论(0) 推荐(0) 编辑

Apache Flink Local模式部署——批处理和流处理

摘要： Apache Flink部署模式有如下三种模式：Flink Local 模式 Flink Standalone 模式 Flink ON YARN 模式本文主要介绍Apache Flink的本地部署模式。本地部署模式主要用于开发者程序调试测试使用。 1、启动Flink $ cd D:\dev\fl 阅读全文

posted @ 2020-03-07 22:26 Ruthless 阅读(2799) 评论(0) 推荐(0) 编辑

2020年3月6日

Eclipse离线手动安装Scala插件

摘要： Eclipse离线手动安装Scala插件 http://scala-ide.org/download/prev-stable.html 阅读全文

posted @ 2020-03-06 15:11 Ruthless 阅读(1014) 评论(0) 推荐(0) 编辑

CentOS7 安装Scala

摘要： 1、下载Scala2.11$ cd /root/soft$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、安装Scala2.11$ tar -xzvf scala-2.11.8.tgz 3、配置环境变量$ v 阅读全文

posted @ 2020-03-06 14:39 Ruthless 阅读(1523) 评论(0) 推荐(0) 编辑

Windows下安装Scala

摘要： Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中。 1、下载首先去官网http: 阅读全文

posted @ 2020-03-06 14:16 Ruthless 阅读(494) 评论(0) 推荐(0) 编辑

Flink安装及使用

摘要： 1、官网下载Flink## 官网地址$ https://flink.apache.org/downloads.html ## 下载地址$ wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11 阅读全文

posted @ 2020-03-06 11:30 Ruthless 阅读(18970) 评论(2) 推荐(3) 编辑

2020年2月10日

JavaDoc注释详解

摘要： JavaDoc注释详解阅读全文

posted @ 2020-02-10 15:53 Ruthless 阅读(431) 评论(0) 推荐(0) 编辑

2020年2月4日

Docker for YApi--一键部署YApi

摘要：获取YApi镜像$ docker pull mrjin/yapi:latest 注意：本仓库目前只支持安装，暂不支持升级，请知晓。如需升级请备份mongoDB内的数据。 docker-compose 部署 version: '2.1' services: yapi: image: mrjin/yap 阅读全文

posted @ 2020-02-04 19:24 Ruthless 阅读(3547) 评论(0) 推荐(0) 编辑

2020年1月20日

AOP统一日志打印处理(系统操作日志通用设计)

摘要：在日常开发工作中，我们免不了要打印很多log。而大部分需要输出的log又是重复的（例如传入参数，返回值）。因此，通过AOP方式来进行日志管理可以减少很多代码量，也更加优雅。 Springboot通过AOP方式(@Aspect)和Javassist优雅地进行日志输出管理。 CREATE TABLE ` 阅读全文

posted @ 2020-01-20 17:21 Ruthless 阅读(2336) 评论(0) 推荐(0) 编辑