barrenlake - 博客园

2016年4月3日

Spark Streaming Backpressure分析

摘要： Spark Streaming Backpressure 原理及执行过程阅读全文

posted @ 2016-04-03 15:39 barrenlake 阅读(6333) 评论(1) 推荐(2) 编辑

2015年10月19日

Spark任务调度流程及调度策略分析

摘要： Spark 任务调度流程及调度策略分析阅读全文

posted @ 2015-10-19 13:00 barrenlake 阅读(6679) 评论(0) 推荐(0) 编辑

2015年6月4日

Spark 资源调度及任务调度

摘要： 1、资源分配通过SparkSubmit进行提交应用后，首先会创建Client将应用程序(字节码文件.class)包装成Driver,并将其注册到Master。Master收到Client的注册请求后将其加入待调度队列waitingDrivers，并等待分配执行资源。1．1 Dirver调度(分配... 阅读全文

posted @ 2015-06-04 08:23 barrenlake 阅读(3684) 评论(0) 推荐(0) 编辑

2015年4月7日

mysql 查询每个分组前N条记录

摘要： mysql 查询每个分组前N条记录阅读全文

posted @ 2015-04-07 19:59 barrenlake 阅读(1337) 评论(0) 推荐(0) 编辑

2015年3月20日

MLlib 卡方检验

摘要： spark MLlib卡方检验阅读全文

posted @ 2015-03-20 21:03 barrenlake 阅读(4372) 评论(0) 推荐(0) 编辑

2014年11月11日

还好，我还在路上

摘要：人说伟大的旅程都是从第一篇博文开始的！今天我也在博客园属于我自己的博客上写下了这些文字，并要求自己持续更新，希望籍此鞭策自己不断前行… 又逢一年一度的又十一，由于闲得无聊，打开了QQ空间的私密日志，浏览那年今天留下的文字，不由面红耳赤，发现重返校园之后，一直很迷茫，整天无所事事…忘了曾经为什么要继... 阅读全文

posted @ 2014-11-11 20:47 barrenlake 阅读(311) 评论(2) 推荐(2) 编辑