satyrs

摘要： submitjob：：做了什么 1含有dagScheduler的runJob函数的runJob是入口，并且是堵塞的操作,即直到Spark完成Job的运行之前,rdd.doCheckpoint()是不会执行的。堵塞在3的waiter.awaitResult()操作,即submitJob会返回一个wai 阅读全文

摘要： A by-name parameter acts like a def. Scala has a solution to this problem called by-name parameters. By declaring a parameter as a: => A (note that th 阅读全文

摘要： （The other reason (and the one more pertinent to Java developers), is that it provides a nice way to handle common exceptions. Why do I say nice? Firs 阅读全文

摘要： 一些思考，不太严谨，从整体上看模型的思路，进行比较。 极大似然？就是后验、大量样本的整体出现概率值最大。样本之间独立。可应用乘法原理。 条件概率，即某(些)条件下某(些)事件出现的概率。 决策树则是求其极大值，局部选择当前条件概率最大。条件概率越大，不确定性越低，条件熵越小。整体熵未必减小。考虑整体 阅读全文