摘要：
对于普通的java-action或者shell-action 都是支持的只要标准输出是"k1=v1"这中格式的就行： 现用test.py进行测试： 将以上test.py和workflow.xml放到hdfs的/user/lyy/oozie/test目录下，使用一下命令提交： 另外如果代码中有标准输出 阅读全文
摘要：
1》基础环境准备： jdk1.8.0_101 maven 3.3.9scala2.11.8安装好上述软件，配置好环境变量，并检查是否生效。 2》配置maven:intellij idea maven配置及maven项目创建 3》设置maven编译内存 export MAVEN_OPTS="-Xmx2 阅读全文
摘要：
一、前提 1.配置好maven：intellij idea maven配置及maven项目创建 2.下载好spark源码: 二、导入源码： 1.将下载的源码包spark-2.3.1.tgz解压（E:\spark-2.3.1.tgz\spark-2.3.1.tar）至E:\spark-2.3.1-sr 阅读全文
摘要：
utf-8和Unicode到底有什么区别？是存储方式不同？编码方式不同？它们看起来似乎很相似，但是实际上他们并不是同一个层次的概念 要想先讲清楚他们的区别，首先应该讲讲Unicode的来由。 众所周知，在盘古开天辟地之前,sorry ,走错片场了(⊙o⊙)…在计算机发明的时候 ,由于计算机你只能表示 阅读全文
摘要：
捕获组分类 普通捕获组 从正则表达式左侧开始，每出现一个左括号“(”记做一个分组，分组编号从1开始。0代表整个表达式。 对于时间字符串：2017-04-25，表达式如下 有4个左括号，所以有4个分组 命名捕获组 每个以左括号开始的捕获组，都紧跟着“?”，而后才是正则表达式。 对于时间字符串：2017 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
1.常用的方式通过sparksession读取外部文件或者数据生成dataset(这里就不讲了） 注： 生成Row对象的方法提一下：RowFactory.create(x,y,z)，取Row中的数据使用row.getAs("列名")来获取对应的列值或者row.getInt(0),row.getStr 阅读全文
摘要：
import org.apache.commons.lang.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.IOException; im 阅读全文
摘要：
spark读取外部配置文件的方法 spark-submit --files /tmp/fileName /tmp/test.jar 使用spark提交时使用--files参数,spark会将将本地的文件上传的hdfs,然后分发给每个executor 在程序中只需要使用文件名获取数据 val file 阅读全文
摘要：
1. 下载Maven 官方地址：http://maven.apache.org/download.cgi 解压并新建一个本地仓库文件夹 2.配置maven环境变量 3.配置配置本地仓库路径 4.配置阿里的maven仓库，自带的仓库连接太慢或者连接不上 5.在IntelliJ IDEA中配置maven 阅读全文