9、Standalone集群测试运行
摘要：启动flink集群 我们启动一下nc 启动flink自带的例子 bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 在nc端输入一些单词 在浏览器端查看结果
阅读全文
posted @ 2020-09-24 10:37
09 2020 档案
8、Flink Standalone工作流程
摘要：在之前解压的flink安装包中，创建一个软链接 ln -s flink-1.8.0 flink 配置flink的环境变量 #flink export FLINK_HOME=/opt/modules/flink export PATH=$FLINK_HOME/bin:$PATH 配置完成后，把flin
阅读全文
posted @ 2020-09-23 15:54
7、Flink Local模式安装部署
摘要：我这里搭建了3节点的集群 操作系统：centos7 配置静态ip 配置三节点的免密通讯 配置时钟同步 安装jdk1.8 以上的具体步骤我就不多说了。 下载flink安装包：https://archive.apache.org/dist/flink/flink-1.8.0/ 上传安装包到集群 解压安装
阅读全文
posted @ 2020-09-22 18:02
java读取word文档的文字内容
摘要：该程序用于读取word文档的文字内容，如果是艺术字，图片不能读取 先在idea创建maven项目 在pom.xml添加以下依赖 <!-- https://mvnrepository.com/artifact/org.apache.poi/poi --> <dependency> <groupId>o
阅读全文
posted @ 2020-09-20 18:06
对文件内容就行修改-java代码
摘要：在实际的生产中，会遇到数据库版本的不同，sql语句的语法会出现改变， 我在这次的金仓数据库中就遇到了，V8版本的建表语句跟V7版本的不一样，所以需要对里面内容进行修改 从图中我们可以看到到，这个是金仓数据库v8版本导出的建表语句，这个语句在v7版本是不能运行的 我们需要做的就是 在这分享一小段jav
阅读全文
posted @ 2020-09-20 16:55
6、Flink批处理案例和流处理案例实现-scala
摘要：在pom.xml文件添加以下依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>${flink.version}</version> </depe
阅读全文
posted @ 2020-09-17 22:31
5、Flink创建scala项目
摘要：在原来的flink java项目的基础上新建一个名为scala的包 再新建一个包 新建一个类，但是我们发现并没有scala相关的类 我们需要把scala的依赖添加进来 可以看到，可以创建scala相关的类了 我们可以看到，如果要开发scala相关的项目，不需要重新创建一个新的项目，可以跟java的项
阅读全文
posted @ 2020-09-17 11:09
Html批量转csv
摘要：不知道大家又没有遇到这样的问题，某些业务系统有导出数据功能，导出的数据都是存放在excel表格里面，需要批量转csv， 但是这样的文件不是标准的excel文档，本质是html文档 比如说，系统导出的文档是这样的 从这里我们可以看出来，感觉就是一个普通的excel文档，通过office也能正常打开，但
阅读全文
posted @ 2020-09-15 14:27
Execl文件批量转csv文件
摘要：针对某些业务系统导出的数据都是Execl数据文件，如果需要都转成csv的话，每个文档都点击另存为转换成csv的话，就不方便了， 这里我分享一段代码针对Execl文件批量转换成csv 先在idea创建一个maven项目，具体怎么创建我就不多说了 package com.gong; import com
阅读全文
posted @ 2020-09-15 14:11
4、Flink流处理案例实现-Java
摘要：在Flink项目里面创建一个包，同时新建一个wordcount类 package com.gong.stream; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.ja
阅读全文
posted @ 2020-09-12 20:06
mysql用户授权总结
摘要：在root用户下操作 创建用户，并指定localhost模式下 CREATE USER 'stu'@'localhost' IDENTIFIED BY 'stu'; 查看用户所以权限，在localhost下查看，因为该用户在localhost模式下创建的 SHOW GRANTS FOR 'stu'
阅读全文
posted @ 2020-09-11 11:42
3、Flink批处理案例实现-Java
摘要：在创建好的Flink项目的基础上，新建一个类 package com.gong.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet;
阅读全文
posted @ 2020-09-07 18:31
2.Flink项目创建
摘要：1、安装maven和scala环境 打开IDEA配置maven，我建议配置一个本地安装的maven不要使用IDEA自带的maven 在这里要注意一下配置maven的settings.xml文件 配置依赖包下载的路径 配置阿里源 <mirror> <id>alimaven</id> <name>ali
阅读全文
posted @ 2020-09-06 23:40
