摘要： load、save方法的用法 .save("hdfs://spark1:9000/peopleName_java"); parquet数据源： -》加载parquet数据 DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:900 阅读全文

摘要： 一、通过结构化数据创建DataFrame： publicstaticvoid main(String[] args) { SparkConf conf = new SparkConf() .setAppName("DataFrameCreate").setMaster("local"); JavaS 阅读全文

摘要： http://www.iteblog.com/archives/1154 http://blog.csdn.net/wsscy2004/article/category/2430395 阅读全文

摘要： 这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候，主要的任务就是搞清楚sparkContext是怎么构造的，java、C#的class的初始化都是放在一个方法中的，而scala的主构造函数代码几乎散落在真个sparkContext类中，这就需要我们将其整理出来，才能有条理的进行 阅读全文

摘要： ThreadLocal：http://www.cnblogs.com/moonandstar08/p/4912673.html InheritableThreadLocal： http://www.cnblogs.com/ronry/p/4135438.html 阅读全文