摘要：
今天主要学习了SparkStreaming的相关知识。 总结 明天补上今天没有学习的机器学习十讲的内容。 阅读全文
摘要：
今天主要学习了机器学习部分的降维，完成了SparkSQL的学习 机器学习部分 今天主要学习了降维的概念，在机器学习中，我们有时候会遇到纬度很高的情况，对我们的计算和使用带来了很多问题，这时候我们就可以通过一些算法对他进行降维处理，从而达到不怎么损失精度又能解决问题的情况。主要介绍了PCA等 Spar 阅读全文
摘要：
今天主要学习了机器学习部分的降维，完成了SparkSQL的学习 机器学习部分 今天主要学习了降维的概念，在机器学习中，我们有时候会遇到纬度很高的情况，对我们的计算和使用带来了很多问题，这时候我们就可以通过一些算法对他进行降维处理，从而达到不怎么损失精度又能解决问题的情况。主要介绍了PCA等 Spar 阅读全文
摘要：
今天主要学习了SparkSQL的基础概念，然后学习了一下机器学习中的聚类。 机器学习部分 聚类，就是将一组数据中集中相似的样本进行分类。属于机器学习中的无监督学习方法（没有目标值y)。今天主要学习了一下K-Means算法。K-Means算法是聚类中一个十分常见的算法。 最后，通过Python自己实现 阅读全文
摘要：
今天主要学习了机器学习十讲的第四讲，然后把SparkCore中的几种常用算子都学习完毕，用WordCount做了一个小总结。 机器学习部分 今天的学习中，首先系统的分析了模型误差出现的原因：用我自己理解的话说，模型空间限制了模型的表达能力，使得模型与真实数据之间存在一个客观的误差，叫做逼近误差。在了 阅读全文
摘要：
分类 首先讲解了一下梯度下降法，这是数学里用来求解无约束最优化问题的经典方法，之后回顾了一下最大似然估计。之后便开始讲解了三种经典的分类算法——感知机，支持向量机和逻辑回归。在大概讲解了三种算法后，使用py里面的numpy,matplotlib等手动实现了这三种算法，并使用sklearn里面的包进行 阅读全文
摘要：
机器学习中的回归 主要学习了线性回归中的数学模型，并针对模型中的一些问题提出了常规的解决方法——正则化。正则化中根据参数的不同可以分为岭回归和LASSO，分别讲解了两种方式的具体解释。最后通过使用py中的机器学习的工具包来实现了鲍鱼的年龄预测模型。 总结 总的来说，机器学习中数学的概念还是很大的，如 阅读全文
摘要：
今天主要学习了数据酷客的机器学习十讲的第一讲和Spark里的转移算子 Spark转移算子案例实操 首先是这样的一个需求： 1516609143867 6 7 64 161516609143869 9 4 75 181516609143869 1 7 87 121516609143869 2 8 92 阅读全文
摘要：
今天主要学习了Spark环境的搭建以及一些RDD算子的学习 Spark环境搭建 比起hadoop的环境搭建，要搭建起一个Spark的学习环境不要太简单。我们使用Idea创建一个Maven项目，导入scala的支持，然后导入如下依赖： <dependencies> <dependency> <grou 阅读全文
摘要：
今天完成了scala语言的学习，编写了一个简单的客户信息管理系统：scala语言实现客户信息管理系统 总结 明天开始学习spark，争取一月底前把spark学习完毕，然后抓紧时间学习人工智能的相关知识 阅读全文