摘要: Spark机器学习 Day2 快速理解机器学习 有两个问题: 1. 机器学习到底是什么。 2. 大数据机器学习到底是什么。 机器学习到底是什么 人正常思维的过程是根据历史经验得出一定的规律,然后在当前情况下根据这种规律来预测当前的情况下该怎么做,这种过程就是一个机器学习的过程。 我们可以发现,这个过 阅读全文
posted @ 2016-07-29 21:10 哎哟慰 阅读(252) 评论(0) 推荐(0) 编辑
摘要: Catalyst揭秘 Day8 Final 外部数据源和缓存系统 今天是Catalyst部分的收官,主要讲一些杂项内容。 外部数据源处理 什么叫外部数据源,是SparkSql自己支持的一些文件格式,以及一些自己自定义格式的文件开发。 让我们从文件的读取api开始,可以看到最终会创建一个DataFra 阅读全文
posted @ 2016-07-29 20:56 哎哟慰 阅读(298) 评论(0) 推荐(0) 编辑