2020年4月3日
scala spark2.0 rdd dataframe 分布式计算欧式距离
摘要： 1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master 阅读全文
posted @ 2020-04-03 16:41 洺剑残虹 阅读(759) 评论(0) 推荐(1) 编辑
scala spark dataframe 修改字段类型
摘要： package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo 阅读全文
posted @ 2020-04-03 11:37 洺剑残虹 阅读(2829) 评论(0) 推荐(1) 编辑
scala spark2.0 sparksql 连接mysql8.0 操作多表 使用 dataframe 及RDD进行数据处理
摘要： 1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master 阅读全文
posted @ 2020-04-03 00:55 洺剑残虹 阅读(853) 评论(0) 推荐(0) 编辑