2018年11月3日
Hadoop平台安装
摘要： Hadoop 集群环境安装手册 [TOC] 一、JDK安装 1.1 JDK1.8下载 ​到oracle官网下载 "jdk 8u101 linux x64.tar.gz" ​先查找并卸载自带openJDK ​解压 "jdk 8u101 linux x64.tar.gz" 到安装目录，如果没有特别说明， 阅读全文
posted @ 2018-11-03 15:24 秋水无声 阅读(189) 评论(0) 推荐(0) 编辑
2017年9月24日
Flume应用
摘要： Flume配置说明 1.部署结构图 2.Agent配置 数据流图： 3.Collector配置 数据流图： 4.Interceptor ​在event前置拦截器，可以根据数据添加一些header，例如type、partition、date，用于数据归类和分区，还可以做一些简单过滤工作（flume自带 阅读全文
posted @ 2017-09-24 00:15 秋水无声 阅读(197) 评论(0) 推荐(0) 编辑
Scala IO
摘要： Scala IO 1.文件读取 ~~~scala //读取行 val source = Source.fromFile(fileName) val lines = source.getLines //读取字符 for(c 阅读全文
posted @ 2017-09-24 00:13 秋水无声 阅读(100) 评论(0) 推荐(0) 编辑