摘要:
1、sparkML的版本不对应 请参考官网找到对于版本, 比如我的 spark2.3.3 spark MLlib 也是2.3.3 阅读全文
摘要:
1、直接上官方代码,调整过的,方可使用 package com.test import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.{LogisticRegressio 阅读全文
摘要:
http://lxw1234.com/archives/2016/01/605.htm 阅读全文
摘要:
本文主要介绍java的单例模式,以及详细剖析静态内部类之所以能够实现单例的原理。OK,废话不多说,进入正文。 首先我们要先了解下单例的四大原则: 1.构造私有。 2.以静态方法或者枚举返回实例。 3.确保实例只有一个,尤其是多线程环境。 4.确保反序列换时不会重新构建对象。 我们常用的单例模式有: 阅读全文
摘要:
在.idea文件夹中,更改workspace.xml文件 加这段语句: <property name="dynamic.classpath" value="true" /> 到: <component name="PropertiesComponent"> . . . </component> 例: 阅读全文
摘要:
1、找到spark安装目录 E:\spackLearn\spark-2.3.3-bin-hadoop2.7\jars 里面放的是spark的所有依赖jar包 2、从idea里面javalib导入即可调用里面的function 阅读全文
摘要:
1、搭建基本spark+Hadoop的本地环境 https://blog.csdn.net/u011513853/article/details/52865076?tdsourcetag=s_pcqq_aiomsg 2、下载对应的spark与pyspark的版本进行安装 https://pypi.o 阅读全文