2021年12月3日
HDFS -- hadoop的FileSystem 与 Flink的HadoopFileSystem样例
摘要： 最近测试结论 Flink跨集群操作HDFS文件，不能再main方法中操作，而是要到算子里操作； 不跨集群，在哪操作都行（main方法里，算子里都行） hadoop的FileSytem操作HDFS 样例 import org.apache.hadoop.conf.Configuration; impo 阅读全文
posted @ 2021-12-03 02:20 空归 阅读(1107) 评论(0) 推荐(0) 编辑
HDFS --JAVA API操作
摘要： HDFS的API操作 1.HDFS的JAVA API操作 HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的>访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。 2.配置Windows下Hadoop环境 在windows上做HDFS客户 阅读全文
posted @ 2021-12-03 01:17 空归 阅读(419) 评论(0) 推荐(0) 编辑
Flink处理--异步IO
摘要： async import com.alibaba.fastjson.JSONObject; import org.apache.commons.io.IOUtils; import org.apache.flink.configuration.Configuration; import org.ap 阅读全文
posted @ 2021-12-03 00:56 空归 阅读(551) 评论(0) 推荐(0) 编辑
Flink 流处理-- 小技巧
摘要： 01 //3. 将读取出来的json字符串转换为ItcastDataObj SingleOutputStreamOperator<ItcastDataObj> vehicleDataStream = source.map( new MapFunction<String, ItcastDataObj> 阅读全文
posted @ 2021-12-03 00:51 空归 阅读(67) 评论(0) 推荐(0) 编辑
工具类
摘要： ConfigLoader import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.IOException; import java.io.InputStream; import java.util.Propert 阅读全文
posted @ 2021-12-03 00:46 空归 阅读(67) 评论(0) 推荐(0) 编辑