08 2014 档案

摘要:本文就拟牛顿法L-BFGS的由来做一个简要的回顾,然后就其在spark mllib中的实现进行源码走读。 阅读全文
posted @ 2014-08-25 19:52 徽沪一郎 阅读(3458) 评论(0) 推荐(1) 编辑
摘要:本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。 阅读全文
posted @ 2014-08-15 20:04 徽沪一郎 阅读(4850) 评论(3) 推荐(0) 编辑
摘要:通过一个简明的Demo程序来说明如何使用scala中的PackratParsers 阅读全文
posted @ 2014-08-11 13:40 徽沪一郎 阅读(2278) 评论(0) 推荐(0) 编辑
摘要:WEB UI和Metrics子系统为外部观察监测Spark内部运行情况提供了必要的窗口,本文将简略的过一下其内部代码实现。 阅读全文
posted @ 2014-08-05 10:12 徽沪一郎 阅读(4332) 评论(0) 推荐(0) 编辑
摘要:Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程。 本篇主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说越仔细越好。 阅读全文
posted @ 2014-08-02 21:57 徽沪一郎 阅读(9933) 评论(3) 推荐(2) 编辑