随笔分类 - spark
大数据计算框架
摘要：1、目录结构如图 2、Java代码 package main.java.work; import main.scala.core.wc_count; public class callScala { public static void main(String[] args){ System.out
阅读全文
摘要：1、分布式版本安装步骤 1.conda安装：conda install dask distributed-cconda-forge 2.pip 安装：pip install dask distributed --upgrade 3.source安装： git clone https://github
阅读全文
摘要：1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master
阅读全文
摘要：package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo
阅读全文
摘要：1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master
阅读全文
摘要：package operationMysql import config.conf.{sc, spark_session} import org.apache.spark.sql.DataFrame object readingMysqlOperation { def main(args: Arra
阅读全文
摘要：1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master
阅读全文
摘要：1、必须是使用case 定义object类
阅读全文
摘要：1、api官网 http://spark.apache.org/docs/2.3.3/ml-guide.html
阅读全文
摘要：1、sparkML的版本不对应 请参考官网找到对于版本， 比如我的 spark2.3.3 spark MLlib 也是2.3.3
阅读全文
摘要：1、直接上官方代码，调整过的，方可使用 package com.test import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.{LogisticRegressio
阅读全文
摘要：http://lxw1234.com/archives/2016/01/605.htm
阅读全文
摘要：在.idea文件夹中，更改workspace.xml文件 加这段语句： <property name="dynamic.classpath" value="true" /> 到： <component name="PropertiesComponent"> . . . </component> 例：
阅读全文
摘要：1、找到spark安装目录 E:\spackLearn\spark-2.3.3-bin-hadoop2.7\jars 里面放的是spark的所有依赖jar包 2、从idea里面javalib导入即可调用里面的function
阅读全文
摘要：1、搭建基本spark+Hadoop的本地环境 https://blog.csdn.net/u011513853/article/details/52865076?tdsourcetag=s_pcqq_aiomsg 2、下载对应的spark与pyspark的版本进行安装 https://pypi.o
阅读全文
