摘要：
Spark远程调试脚本： 阅读全文
摘要：
org.apache.maven.plugins maven-javadoc-plugin 2.10.4 UTF-8 true UTF-8 UTF-8 ... 阅读全文
摘要：
System.setProperty("hadoop.home.dir", "C:\\hadoop-2.7.2"); val spark = SparkSession.builder().config(new SparkConf().setAppName("LR").setMaster("local[*]")).config("spark.sql.warehouse.dir", "fil... 阅读全文
摘要：
1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 阅读全文
摘要：
以前使用过DS和DF，最近使用Spark ML跑实验，再次用到简单复习一下。 1：DS与DF关系？ 2：加载txt数据 这种直接生成DF，df数据结构为（查询语句：df.select("*").show(5)）： 只有一列，属性为value。 3： df.printSchema() 4：case c 阅读全文
摘要：
有时间学习一下Guava 阅读全文
摘要：
GitHub 上的 Awesome 系列（资源大全系列），是一个汇总了优秀工具资源的大集合，并由 GitHub 社区用户持续维护和更新。初始的版本都是英文，伯乐在线组织整理了热门资源大全的中文版。目前，中文版的资源列表在 GitHub 总计已经有超过 10K star 和 数千 fork 。以下是各 阅读全文
摘要：
引用至：http://www.jdon.com/concurrent/actor-csp.html Akka/Erlang的actor模型与Go语言的协程Goroutine与通道Channel代表的CSP(Communicating Sequential Processes)模型有什么区别呢？ 首先 阅读全文
摘要：
或許大部分有寫過Java程式的人都知道java.lang.Runtime這個class有一個method叫做exec()，可以被用來呼叫(調用)外部的程式。然而大部分的人都不知道這個method存在著幾個機車的小陷阱，一個不小心就會發生災難了，待我娓娓道來...這個method有幾個overload 阅读全文
摘要：
一个很久之前写的Spark作业，当时运行在local模式下。最近又开始处理这方面数据了，就打包提交集群，结果频频空指针。最开始以为是程序中有null调用了，经过排除发现是继承App导致集群运行时候无法反射获取main方法。 这个问题不难，起始我们也知道提交作业时候不能继承App，源码也看过这一部分， 阅读全文