IntelliJ IDEA构建多Module项目
摘要：打开IDEA 创建完成项目后，我们创建子模块 可以看到common子模块创建成功，子模块的名字大家可以根据自己的实际需求来修改 下面我们再创建子模块 给子模块起个名字 现在已经创建好多模块的项目了，下一步设置模块之间的依赖关系 我们来设定behavior模块依赖也common模块 在behavior
阅读全文
posted @ 2020-02-27 18:16
02 2020 档案
IDEA开发scala版本的spark程序
摘要：package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l
阅读全文
posted @ 2020-02-18 17:33
32.电视采集项目流程spark篇通过Azkaban调度spark
摘要：新建AccessLogDriverCluster类 package com.it19gong.clickproject; import java.sql.PreparedStatement; import java.util.ArrayList; import java.util.List; imp
阅读全文
posted @ 2020-02-04 16:40
31.电视采集项目流程spark篇通过sparksql处理业务逻辑
摘要：新建包 package com.it19gong.clickproject; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable;
阅读全文
posted @ 2020-02-03 17:00
30.Spark SQL和DataFrame
摘要：RDD转换为DataFrame 为什么要将RDD转换为DataFrame？因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据，使用Spark SQL进行SQL查询了。 这个功能是无比强大的。想象一下，针对HDFS中的数据，直接就可以使用SQL进行查询。 Spark SQL支持两种方
阅读全文
posted @ 2020-02-02 23:22
