2018年10月18日
hdfs遍历文件方法
摘要： import org.apache.commons.lang.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.IOException; im 阅读全文
posted @ 2018-10-18 15:29 一直爬行的蜗牛牛 阅读(2089) 评论(0) 推荐(0) 编辑
spark读取外部配置文件的方法
摘要： spark读取外部配置文件的方法 spark-submit --files /tmp/fileName /tmp/test.jar 使用spark提交时使用--files参数,spark会将将本地的文件上传的hdfs,然后分发给每个executor 在程序中只需要使用文件名获取数据 val file 阅读全文
posted @ 2018-10-18 11:46 一直爬行的蜗牛牛 阅读(14996) 评论(0) 推荐(0) 编辑
intellij idea maven配置及maven项目创建
摘要： 1. 下载Maven 官方地址：http://maven.apache.org/download.cgi 解压并新建一个本地仓库文件夹 2.配置maven环境变量 3.配置配置本地仓库路径 4.配置阿里的maven仓库，自带的仓库连接太慢或者连接不上 5.在IntelliJ IDEA中配置maven 阅读全文
posted @ 2018-10-18 10:15 一直爬行的蜗牛牛 阅读(6259) 评论(0) 推荐(0) 编辑