摘要：
/** * Created by liuguangxin on 2018/4/26. * */ object ExecutionUtils { def execute(command: String, maps: util.Map[String, Object]): DataFrame = { val jexlEngine = new JexlEngine() ... 阅读全文
摘要：
数据库表A： 数据库B： 目标：创建表使得表B中的taskname为外键，参考表A中的taskname字段，创建表发现报错如下： 经过排查找到问题原因： 表A中的taskname必须使用UNIQUE字段修饰，这样保证记录唯一性，当表B参考时候不会出现歧义。 阅读全文
摘要：
使用JVM参数即可：-XX:+TraceClassLoading 阅读全文
摘要：
脚本代码如下： 其中：grep -v grep 显示查询结果中m没有匹配grep的行，即过滤到grep搜索进程的进程id，wc -l是判断包含该进程id的进程有几个，之后再借助进程id进程匹配。 再例如： 查看历史运行过的命令中包含mysql但是不包含netstat的所有历史命令 阅读全文
摘要：
https://www.jianshu.com/p/799252156379 阅读全文
摘要：
htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。是junit的扩展之一 阅读全文
摘要：
写本文原因是之前已经将官网文档阅读过几遍，但是后来工作接触spark机会较少所以没有跟进新特性，利用周末一点闲暇时间粗略阅读一篇，将自己之前遇见过的问题解决过的问题印象不深刻的问题做一下记录。 1关于RDD缓存： Don’t spill to disk unless the functions th 阅读全文