摘要：
源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10015/ 《机器学习十讲》——第四讲（模型提升） 本讲主要讲了三个算法：决策树，随机森林，AdaBoost 模型误差的来源 非线性模型 线性回归：多项式回归 支持向量机：给定的核函数 阅读全文
摘要：
源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10014/ 《机器学习十讲》——第三讲：分类 数学知识回顾： 点到平面距离： 梯度下降法： 简介：求解无约束最优化问题的经典方法，机器学习和深度学习中应用最广泛的模型求解算法。 定义： 阅读全文
摘要：
源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10013/ 第二讲的主要内容是回归，总结如下。 回归模型用了很多的矩阵知识，因此首先回顾一下矩阵知识以及python中的使用： 矩阵的逆： 若A为可逆矩阵，则逆矩阵是唯一的。 判断矩阵 阅读全文
摘要：
源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10012/ 第一讲主要是对机器学习的概念介绍，总结如下： 机器学习定义：机器学习是一系列【能够自动从已知数据里检测出模式（规律），并使用该模式对未来数据的模式（规律）去做预测，用以支持 阅读全文
摘要：
SparkSQL常用API总结 读取数据 文件读取 #本地文件读取 #创建SparkSession val spark=SparkSession.builder() .appName("RW") .master("local[6]") #本地运行 .getOrCreate() #隐式转换导入，Dat 阅读全文
摘要：
SparkSQL 创建引用入口 val spark=SparkSession.builder() .master("local[6]") #spark://host:port .appName("PM") .getOrCreate() 读取数据 spark.read .option("header" 阅读全文
摘要：
Spark-Shell编程 进入Spark-shell模式 bin/spark-shell --master local[6] #本地运行 WordCount案例 读取文件 val rdd1=sc.textFile("file:///export/wordcount.txt") #读取本地文件 va 阅读全文
摘要：
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA 阅读全文
摘要：
Hive学习总结 环境配置 本人用的是mysql存储hive元数据，需要提前下载mysql hive-env.sh # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/export/server 阅读全文
摘要：
MapReduce计算过程 全流程 文件读取阶段 MapReduce默认是Text读取方式，即一行一行读取文本内容，以读取数据的偏移量，每行文本内容组成”KEY-VALUE“键值对输送给下一阶段。 PS：如果指定一个文件夹，则会读取文件夹下所有文件；如果指定文件，则只会读取此文件。 Map阶段 在M 阅读全文