Spark MLlib机器学习实践
第 1章星星之火 1 [1]
1.1 大数据时代 1
1.2 大数据分析时代 . 2
1.3 简单、优雅、有效——这就是 Spark 3
1.4 核心——MLlib4
1.5 星星之火,可以燎原 .. 6
1.6 小结 6
第 2章 Spark安装和开发环境配置.. 7
2.1 Windows单机模式 Spark安装和配置 . 7
2.1.1 Windows 7安装 Java.. 7
2.1.2 Windows 7安装 Scala . 10
2.1.3 Intellij IDE下载和安装.. 10
2.1.4 Intellij IDE中 Scala插件的安装 .. 11
2.1.5 Spark单机版安装.. 14
2.2 经典的 WordCount . 15
2.2.1 Spark实现 WordCount 15
2.2.2 MapReduce实现 WordCount.. 17
2.3 小结 . 20
第 3章 RDD详解 21
3.1 RDD是什么 21
3.1.1 RDD名称的秘密 21
3.1.2 RDD特性 22
3.1.3 与其他分布式共享内存的区别 . 23
3.1.4 RDD缺陷 23
3.2 RDD工作原理.. 24
3.2.1 RDD工作原理. 24
3.2.2 RDD的相互依赖 24
3.3 RDD应用 API详解 .. 25
3.3.1 使用 aggregate方法对给定的数据集进行方法设定 ... [1]
3.3.2提前计算的cache方法..28
3.3.3笛卡尔操作的cartesian方法..29
3.3.4分片存储的coalesce方法.30
3.3.5以value计算的countByValue方法..31
3.3.6以key计算的countByKey方法..31
3.3.7除去数据集中重复项的distinct方法32
3.3.8过滤数据的filter方法33
3.3.9以行为单位操作数据的flatMap方法..33
3.3.10以单个数据为目标进行操作的map方法34
3.3.11分组数据的groupBy方法.34
3.3.12生成键值对的keyBy方法.35
3.3.13同时对两个数据进行处理的reduce方法36
3.3.14对数据进行重新排序的sortBy方法..37
3.3.15合并压缩的zip方法.38
3.4小结.39
第4章MLlib基本概念.40
4.1MLlib基本数据类型.40
4.1.1多种数据类型..40
4.1.2从本地向量集起步41
4.1.3向量标签的使用.42
4.1.4本地矩阵的使用.44
4.1.5分布式矩阵的使用44
4.2MLlib数理统计基本概念..48
4.2.1基本统计量48
4.2.2统计量基本数据.48
4.2.3距离计算.49
4.2.4两组数据相关系数计算.50
4.2.5分层抽样.53
4.2.6假设检验.54
4.2.7随机数..55
4.3小结.56
第5章协同过滤算法57
5.1协同过滤..57
5.1.1协同过滤概述..57
5.1.2基于用户的推荐.58
5.1.3基于物品的推荐.59
5.1.4协同过滤算法的不足..60
5.2相似度度量.60
5.2.1基于欧几里得距离的相似度计算60
5.2.2基于余弦角度的相似度计算..61
5.2.3欧几里得相似度与余弦相似度的比较.62
5.2.4第一个例子——余弦相似度实战62
5.3MLlib中的交替最小二乘法(ALS算法)65
5.3.1最小二乘法(LS算法)详解66
5.3.2MLlib中交替最小二乘法(ALS算法)详解.66
5.3.3ALS算法实战..68
5.4小结.70
第6章MLlib线性回归理论与实战71
6.1随机梯度下降算法详解..71
6.1.1道士下山的故事.72
6.1.2随机梯度下降算法的理论基础.73
6.1.3随机梯度下降算法实战.73
6.2MLlib回归的过拟合.74
6.2.1过拟合产生的原因75
6.2.2lasso回归与岭回归..76
6.3MLlib线性回归实战.76
6.3.1MLlib线性回归基本准备.76
6.3.2MLlib线性回归实战:商品价格与消费者收入之间的关系..78
6.3.3对拟合曲线的验证80
6.4小结.82
第7章MLlib分类实战.83
7.1逻辑回归详解83
7.1.1逻辑回归不是回归算法.83
7.1.2逻辑回归的数学基础..84
7.1.3一元逻辑回归示例85
7.1.4多元逻辑回归示例86
7.1.5MLlib逻辑回归验证88
7.1.6MLlib逻辑回归实例:胃癌的转移判断.89
7.2支持向量机详解..91
7.2.1三角还是圆91
7.2.2支持向量机的数学基础.93
7.2.3支持向量机使用示例..94
7.2.4使用支持向量机分析胃癌转移.95
7.3朴素贝叶斯详解..96
7.3.1穿裤子的男生or女生.96
7.3.2贝叶斯定理的数学基础和意义.97
7.3.3朴素贝叶斯定理.98
7.3.4MLlib朴素贝叶斯使用示例99
7.3.5MLlib朴素贝叶斯实战:“僵尸粉”的鉴定100
7.4小结..102
第8章决策树与保序回归103
8.1决策树详解..103
8.1.1水晶球的秘密104
8.1.2决策树的算法基础:信息熵104
8.1.3决策树的算法基础——ID3算法..106
8.1.4MLlib中决策树的构建107
8.1.5MLlib中决策树示例.108
8.1.6随机雨林与梯度提升算法(GBT)110
8.2保序回归详解.112
8.2.1何为保序回归113
8.2.2保序回归示例113
8.3小结..114
第9章MLlib中聚类详解.115
9.1聚类与分类..115
9.1.1什么是分类.115
9.1.2什么是聚类.116
9.2MLlib中的Kmeans算法.116
9.2.1什么是Kmeans算法.116
9.2.2MLlib中Kmeans算法示例..118
9.2.3Kmeans算法中细节的讨论..119
9.3高斯混合聚类.120
9.3.1从高斯分布聚类起步120
9.3.2混合高斯聚类122
9.3.3MLlib高斯混合模型使用示例122
9.4快速迭代聚类.123
9.4.1快速迭代聚类理论基础..123
9.4.2快速迭代聚类示例.124
9.5小结..125
第10章MLlib中关联规则..126
10.1Apriori频繁项集算法.126
10.1.1啤酒与尿布..126
10.1.2经典的Apriori算法127
10.1.3Apriori算法示例..129
10.2FP-growth算法130
10.2.1Apriori算法的局限性130
10.2.2FP-growth算法..130
10.2.3FP树示例..133
10.3小结134
第11章数据降维135
11.1奇异值分解(SVD)..135
11.1.1行矩阵(RowMatrix)详解135
11.1.2奇异值分解算法基础.136
11.1.3MLlib中奇异值分解示例137
11.2主成分分析(PCA)..138
11.2.1主成分分析(PCA)的定义.139
11.2.2主成分分析(PCA)的数学基础..139
11.2.3MLlib中主成分分析(PCA)示例..140
11.3小结141
第12章特征提取和转换.142
12.1TF-IDF..142
12.1.1如何查找所要的新闻.142
12.1.2TF-IDF算法的数学计算..143
12.1.3MLlib中TF-IDF示例..144
12.2词向量化工具..145
12.2.1词向量化基础.145
12.2.2词向量化使用示例..146
12.3基于卡方检验的特征选择147
12.3.1“吃货”的苦恼147
12.3.2MLlib中基于卡方检验的特征选择示例148
12.4小结149
第13章MLlib实战演练——鸢尾花分析.151
13.1建模说明.151
13.1.1数据的描述与分析目标151
13.1.2建模说明153
13.2数据预处理和分析156
13.2.1微观分析——均值与方差的对比分析156
13.2.2宏观分析——不同种类特性的长度计算..159
13.2.3去除重复项——相关系数的确定..161
13.3长与宽之间的关系——数据集的回归分析..165
13.3.1使用线性回归分析长与宽之间的关系165
13.3.2使用逻辑回归分析长与宽之间的关系168
13.4使用分类和聚类对鸢尾花数据集进行处理..169
13.4.1使用聚类分析对数据集进行聚类处理169
13.4.2使用分类分析对数据集进行分类处理172
13.5最终的判定——决策树测试..173
13.5.1决定数据集的归类——决策树173
13.5.2决定数据集归类的分布式方法——随机雨林175
13.6小结176 [2]
PDF下载链接: https://pan.baidu.com/s/1HPrQ3zicJRuu5WxhbBqe8g
扫码关注如下微信公众号,回复 1100,即可获取提取码: