12 2014 档案

How systems researchers build systems
摘要:Define the problem>>Identify the constraints and abstract problempropose solution:simple idea>>Don't try to solve everythingimplent the system:>>reuse... 阅读全文

posted @ 2014-12-15 15:39 Torstan 阅读(180) 评论(0) 推荐(0) 编辑

spark1.1.0源码阅读-executor
摘要:1. executor上执行launchTask1 def launchTask(2 context: ExecutorBackend, taskId: Long, taskName: String, serializedTask: ByteBuffer) {3 val tr... 阅读全文

posted @ 2014-12-11 22:36 Torstan 阅读(302) 评论(0) 推荐(0) 编辑

spark1.1.0源码阅读-taskScheduler
摘要:1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW... 阅读全文

posted @ 2014-12-11 22:28 Torstan 阅读(372) 评论(0) 推荐(0) 编辑

spark1.1.0源码阅读-dagscheduler and stage
摘要:1. rdd action ->sparkContext.runJob->dagscheduler.runJob 1 def runJob[T, U: ClassTag]( 2 rdd: RDD[T], 3 func: (TaskContext, Iterator[T])... 阅读全文

posted @ 2014-12-11 20:46 Torstan 阅读(310) 评论(0) 推荐(0) 编辑

akka简单示例-2
摘要:手动敲了一遍计算pi的示例:http://www.gtan.com/akka_doc/intro/getting-started-first-scala.html有个笔误,花了半个小时定位。 1 [Torstani@sparkb5-i ~/akka_example/pi]$ cat src/Pi.s... 阅读全文

posted @ 2014-12-10 22:09 Torstan 阅读(341) 评论(0) 推荐(0) 编辑

scala函数式编程
摘要:学习了一些scala的基础语法http://twitter.github.io/scala_school/zh_cn/index.html,尝试一下scala的函数式编程。用函数式编程如何实现:sum(f, a,b)=s = 0for i in [a, b] s+=f(i)return s这是命令... 阅读全文

posted @ 2014-12-10 19:41 Torstan 阅读(190) 评论(0) 推荐(0) 编辑

akka简单示例-1
摘要:刚刚开始接触akka,网上找了2个简单示例,并在公司运营机器上尝试,踩了一些坑,在此记录。1. 本地hello world 1 [torstan@sparkb5-i ~/akka_example/hello_world]$ cat src/helloWorld.scala 2 package ou... 阅读全文

posted @ 2014-12-10 17:41 Torstan 阅读(1102) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示