摘要: 1、sparkML的版本不对应 请参考官网找到对于版本, 比如我的 spark2.3.3 spark MLlib 也是2.3.3 阅读全文
posted @ 2019-06-04 21:22 洺剑残虹 阅读(3233) 评论(0) 推荐(0) 编辑
摘要: 1、直接上官方代码,调整过的,方可使用 package com.test import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.{LogisticRegressio 阅读全文
posted @ 2019-06-04 17:38 洺剑残虹 阅读(694) 评论(0) 推荐(0) 编辑
摘要: http://lxw1234.com/archives/2016/01/605.htm 阅读全文
posted @ 2019-06-04 16:58 洺剑残虹 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 本文主要介绍java的单例模式,以及详细剖析静态内部类之所以能够实现单例的原理。OK,废话不多说,进入正文。 首先我们要先了解下单例的四大原则: 1.构造私有。 2.以静态方法或者枚举返回实例。 3.确保实例只有一个,尤其是多线程环境。 4.确保反序列换时不会重新构建对象。 我们常用的单例模式有: 阅读全文
posted @ 2019-06-04 16:56 洺剑残虹 阅读(3070) 评论(0) 推荐(4) 编辑
摘要: 在.idea文件夹中,更改workspace.xml文件 加这段语句: <property name="dynamic.classpath" value="true" /> 到: <component name="PropertiesComponent"> . . . </component> 例: 阅读全文
posted @ 2019-06-04 16:00 洺剑残虹 阅读(4335) 评论(0) 推荐(0) 编辑
摘要: 1、找到spark安装目录 E:\spackLearn\spark-2.3.3-bin-hadoop2.7\jars 里面放的是spark的所有依赖jar包 2、从idea里面javalib导入即可调用里面的function 阅读全文
posted @ 2019-06-04 15:55 洺剑残虹 阅读(802) 评论(0) 推荐(0) 编辑
摘要: 1、搭建基本spark+Hadoop的本地环境 https://blog.csdn.net/u011513853/article/details/52865076?tdsourcetag=s_pcqq_aiomsg 2、下载对应的spark与pyspark的版本进行安装 https://pypi.o 阅读全文
posted @ 2019-06-04 10:03 洺剑残虹 阅读(9861) 评论(1) 推荐(0) 编辑