摘要：
1.python语言基础 初级 （1）Python3入门 《Python 3 教程》https://www.runoob.com/python3/python3-namespace-scope.html （2）变量及其作用域，局部变量/全局变量的使用方法及差别 https://www.runoob. 阅读全文
摘要：
val df = spark.read.json("/spark2x/xxx")df.printSchemadf.select("Event").groupBy("Event").count.show(20,false)df.createOrReplaceTempView("t1")sql("sel 阅读全文
摘要：
我国实行夏令时的时间: 1986年至1991年，每年4月中旬的第一个星期日1时起至9月中旬的第一个星期日1时止。 1986年4月13日至9月14日， 1987年4月12日至9月13日， 1988年4月10日至9月11日， 1989年4月16日至9月17日， 1990年4月15日至9月16日， 199 阅读全文
摘要：
1 快速入门 官方快速入门文档：https://spark.apache.org/docs/3.1.1/quick-start.html Spark教程 https://www.yiibai.com/spark/apache-spark-filter-function.html 2 Spark原理 阅读全文
摘要：
Yarn Spark ResourceManager(RM 资源管理器) Mater 管理子节点，资源调度，接受任务请求 NodeManager (NM 节点管理器) Worker 负责管理本节点的资源，并管理子进程,启动Driver和Executor Container 容器 Executor 运 阅读全文
摘要：
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 阅读全文
摘要：
1 软件准备 注意：以下是针对Windows 7 64bit的开发环境搭建 软件名称 描述 下载地址 版本 软件安装包 JDK JAVA 开发工具包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133 阅读全文
摘要：
1、idea中新建一个Maven项目 自定义名称 2、编辑pom文件，包括spark、scala、hadoop等properties版本信息、dependencies依赖、和plugins 插件信息 <?xml version="1.0" encoding="UTF-8"?> <project xm 阅读全文
摘要：
1 什么是SerDe SerDe 是两个单词的拼写 serialized(序列化) 和 deserialized(反序列化)。 什么是序列化和反序列化呢？ 当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以 二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可 阅读全文
摘要：
连接spark-shell 指定行数生成数据 scala>spark.range(50000000L).selectExpr("id % 10000 as a","id % 10000 as b").write.saveAsTable("t1") scala>spark.range(40000000 阅读全文