大数据和AI躺过的坑

2017年8月31日

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPageRank.scala（图文详解）

摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkPageRank.scala 暂时还没运行出结果、 spark-2.2.0-bin-hadoop2.6里Basic包下的SparkPageRank.scala 阅读全文

posted @ 2017-08-31 14:43 大数据和AI躺过的坑阅读(1116) 评论(0) 推荐(0) 编辑

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaTC.java（图文详解）

摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaTC.java spark-2.2.0-bin-hadoop2.6里Basic包下的JavaTC.java 阅读全文

posted @ 2017-08-31 12:44 大数据和AI躺过的坑阅读(402) 评论(0) 推荐(0) 编辑

摘要：不多说，直接上干货！前言其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。好一段时间之前，写过这篇博客使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Sp 阅读全文

posted @ 2017-08-31 11:16 大数据和AI躺过的坑阅读(3600) 评论(0) 推荐(2) 编辑

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkTC.scala（图文详解）

摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkTC.scala 阅读全文

posted @ 2017-08-31 11:04 大数据和AI躺过的坑阅读(415) 评论(0) 推荐(0) 编辑

2017年8月30日

Spark Mllib里数据集如何取前M行（图文详解）

摘要：不多说，直接上干货！见具体， Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章使用决策树二元分类算法来预测分类StumbleUpon数据集见具体 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第14章使用逻辑回归二元分类算法来预测分类StumbleUpo 阅读全文

posted @ 2017-08-30 22:23 大数据和AI躺过的坑阅读(234) 评论(0) 推荐(0) 编辑

Spark Mllib里如何将数值特征字段用StandardScaler进行标准化（图文详解）

摘要：不多说，直接上干货！首先，要明白为什么有时候，数值特征字段需要进行标准化？答：因为，当我们若用回归分析算法时，必须将数值特征字段进行标准化，这是因为数值特征字段单位不同，数字差异很大，所以无法彼此比较，这时，就需要使用标准化，使得数值特征字段具有共同的标准。加入数据标准化 withMean = 阅读全文

posted @ 2017-08-30 21:48 大数据和AI躺过的坑阅读(940) 评论(0) 推荐(0) 编辑

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaSparkPi.java（图文详解）

摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaSparkPi.java spark-2.2.0-bin-hadoop2.6里Basic包下的JavaSparkPi.java 阅读全文

posted @ 2017-08-30 21:24 大数据和AI躺过的坑阅读(632) 评论(0) 推荐(0) 编辑

jdk1.8源码包下载并导入到开发环境下助推高质量代码(Eclipse、MyEclipse和Scala IDEA for Eclipse皆适用）（图文详解）

摘要：不多说，直接上干货！ jdk1.8 源码, Linux的同学可以用的上. 由于源码JDK是前版本的超集, 所以1.4, 1.5, 1.6, 1.7都可以用的上. 其实大家安装的jdk路径下，这里面是已经有的。只是有些人安装下来之后，删除了。前言：这件事情的重要性不言而喻，对于学习和观摩优秀的代码非阅读全文

posted @ 2017-08-30 20:04 大数据和AI躺过的坑阅读(821) 评论(0) 推荐(0) 编辑

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPi.scala（图文详解）

摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkPi.scala spark-2.2.0-bin-hadoop2.6里Basic包下的SparkPi.scala 阅读全文

posted @ 2017-08-30 18:19 大数据和AI躺过的坑阅读(1314) 评论(0) 推荐(0) 编辑

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之环境准备（图文详解）

摘要：不多说，直接上干货！关于下载，这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。我是解压在D:\SoftWare方便为了导入其中的所需jar包这里，我是在Scala IDEA for Eclipse里，手动来构建spar 阅读全文

posted @ 2017-08-30 18:12 大数据和AI躺过的坑阅读(791) 评论(0) 推荐(0) 编辑

大数据和人工智能躺过的坑

公告