01 2018 档案
摘要：spark 模型选择与超参调优 机器学习可以简单的归纳为 通过数据训练 的过程，因此定义完训练模型之后，就需要考虑如何选择最终我们认为最优的模型。 如何选择最优的模型，就是本篇的主要内容： 模型验证的方法 超参数的选择 评估函数的选择 模型验证的方法 在《统计学习方法》这本书中，曾经讲过模型验证的方
阅读全文
摘要：经过几天闲暇时间的学习，终于又理解的深入了一些，关于Spark Client如何提交作业也更清晰了点。 在整体的流程图上是这样的： 大体的思路就是应用程序通过SparkSubmit提交程序后，自动在当前的JVM中启动Driver，然后与Master通信创建Excutor执行相应的任务。 自己整理了下
阅读全文
摘要：今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。 更多内容参考： "我的大数据之路" Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版
阅读全文
摘要：这本小说，从案件剧情上来说，简单的不要不要的，可是背后的故事确是一波三折，把读者骗的来回转。 小说整体采用了一种叫做POV, point of view 视点人物写作手法。之前看过辛夷坞的小说，是那种每个人都描述同一件事情，读者从不同人物角度的来挖掘事件的真相。本书则是站在每个人不同的视角讲述故事，
阅读全文
摘要：公司是采用微服务来做模块化的，各个模块之间采用dubbo通信。好处就不用提了，省略了之前模块间复杂的http访问。不过也遇到一些问题： PS: "Github的代码示例" 测试需要配合写消费者的代码 对于开发来说，倒是挺省劲。但是对于测试来说就有点麻烦了, 每次还要去写dubbo的消费程序，而且每次
阅读全文
