Torstan

摘要：Define the problem>>Identify the constraints and abstract problempropose solution:simple idea>>Don't try to solve everythingimplent the system:>>reuse... 阅读全文

摘要：1. executor上执行launchTask1 def launchTask(2 context: ExecutorBackend, taskId: Long, taskName: String, serializedTask: ByteBuffer) {3 val tr... 阅读全文

摘要：1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW... 阅读全文

摘要：1. rdd action ->sparkContext.runJob->dagscheduler.runJob 1 def runJob[T, U: ClassTag]( 2 rdd: RDD[T], 3 func: (TaskContext, Iterator[T])... 阅读全文

摘要：手动敲了一遍计算pi的示例：http://www.gtan.com/akka_doc/intro/getting-started-first-scala.html有个笔误，花了半个小时定位。 1 [Torstani@sparkb5-i ~/akka_example/pi]$ cat src/Pi.s... 阅读全文

摘要：学习了一些scala的基础语法http://twitter.github.io/scala_school/zh_cn/index.html，尝试一下scala的函数式编程。用函数式编程如何实现：sum（f, a，b）=s = 0for i in [a, b] s+=f(i)return s这是命令... 阅读全文

摘要：刚刚开始接触akka，网上找了2个简单示例，并在公司运营机器上尝试，踩了一些坑，在此记录。1. 本地hello world 1 [torstan@sparkb5-i ~/akka_example/hello_world]$ cat src/helloWorld.scala 2 package ou... 阅读全文