2016年1月20日
Spark的代码模块
摘要： scheduler：负责整体的Spark应用、任务调度的代码。 broadcast：Broadcast（广播变量）的实现代码 deploy：含有Spark部署与启动运行的代码。 common：不是一个文件夹，而是代表Spark通用的类和逻辑实现 metrics：运行时状态监控逻辑代码，Executor中含有Worker节点负责计算的逻辑代码。 partial：含有近似评估代码。 net... 阅读全文
posted @ 2016-01-20 14:23 yifan888 阅读(171) 评论(0) 推荐(0) 编辑
spark实战@wordcount-处理目录下的多个文件
摘要： import org.apache.hadoop.fs.{Path, FileSystem}import org.apache.spark.SparkConfimport org.apache.spark.SparkContextclass WordCount {}/ 处理目录下每个文件，进行wo... 阅读全文
posted @ 2016-01-20 11:28 yifan888 阅读(738) 评论(0) 推荐(0) 编辑
2015年12月3日
使用uuid-ossp
摘要： 9.4版本添加uuid-ossp很简单，只需要添加扩展包内容即可 CREATE EXTENSION "uuid-ossp"; 具体路径是在：/usr/pgsql-9.4/share/extension/uuid-ossp--1.0.sql刚开始采用以前的方法手动创建，直接提示直接使用create e... 阅读全文
posted @ 2015-12-03 17:32 yifan888 阅读(1473) 评论(0) 推荐(0) 编辑
2015年11月12日
使用IDEA+MVN 编译Spark 1.5.2 without hive
摘要： 编译前可以参考下官方文档http://spark.apache.org/docs/1.5.0/building-spark.html 参考文档：http://mmicky.blog.163.com/blog/static/1502901542014312101657612/经多次测试以及和别人的交流... 阅读全文
posted @ 2015-11-12 15:06 yifan888 阅读(1392) 评论(0) 推荐(0) 编辑
2015年11月11日
VMware通过NAT模式访问外网
摘要： ============= 说明 ============= 这里只记录自己的配置，详细参考注意：其中默认网关有时不稳定，可能和NAT模式有关============= PC机配置 ============= ============= 虚拟机配置 ============= 阅读全文
posted @ 2015-11-11 23:19 yifan888 阅读(292) 评论(0) 推荐(0) 编辑
2015年11月10日
正式开博，Mark
摘要： 感谢Windows Live Writer，让一切都变得更加美好… 阅读全文
posted @ 2015-11-10 13:38 yifan888 阅读(167) 评论(0) 推荐(0) 编辑