随笔分类 - 大数据
摘要:数仓搭建之DWD层 DWD启动表数据解析 创建启动表 建表语句 hive (gmall)> drop table if exists dwd_start_log; hive (gmall)> CREATE EXTERNAL TABLE dwd_start_log( `mid_id` string,
阅读全文
摘要:  掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统上运行可以发挥最佳性能,因此,本教程中,Spark 都是在 Linux 系统中进行相关操作,同时,下一章的 Scala 语言也会在 Lin
阅读全文
摘要:模式匹配 Scala中的模式匹配类似于Java中的switch语法。 但是Scala从语法中补充了更多的功能,所以更加强大 基本语法 模式匹配语法中,采用match关键字声明,每个分支采用case关键字进行声明,当需要匹配时,会从第一个case分支开始,如果匹配成功,那么执行对应的逻辑代码,如果匹配
阅读全文
摘要:集合 集合简介 Scala的集合有三大类:序列Seq、集Set、映射Map,所有的集合都扩展自Iterable特质。 对于几乎所有的集合类,Scala都同时提供了可变和不可变的版本,分别位于以下两个包: 不可变集合:scala.collection.immutable 不可变集合:scala.col
阅读全文
摘要:面向对象 Scala的面向对象思想和Java的面向思想和概念是一致的。 Scala中语法和Java不同,补充了更多的功能。 Scala包 package 包名 三大作用: 区分相同名字的类 当类很多的时候,可以很好的管理类 控制访问范围 包的命名 只能包含数字、字母、下划线、小圆点,但不能用数字开头
阅读全文
摘要:函数式编程 面向对象编程OOP 解决问题 分解对象,行为,属性,然后通过对象的关系以及行为的调用来解决问题。 对象:用户 行为:登录、JDBC、读取数据库 属性:用户名、密码 Scala语言是一个完全面向对象编程语言 对象的本质:对数据和行为的一个封装 函数式编程 函数式编程是种编程方式,它将电脑运
阅读全文
摘要:运算符 算数运算符 运算符 运算 范例 结果 + 正号 +3 3 - 负号 b=4; -b -4 + 加 5 + 5 10 - 减 6 - 4 2 * 乘 3 * 4 12 / 除 12 / 4 3 % 取模(取余) 7 % 5 2 + 字符串相加 "He" + "llo" "Hello" obje
阅读全文
摘要:变量和数据类型 注释 和 Java 中的注释一模一样,这里不做过多赘述。 // 单行注释 /* 多行注释 */ /* * 文档注释 */ 变量和常量 常量:在程序执行的过程中,其中不会被改变的变量 // 变量 // var 变量名 [: 变量类型] = 初始值 var i:Int = 20 // 常
阅读全文
摘要:环境搭建 Scala官网 Scala所有版本下载地址 这里选用Scala2.12.11 windows环境 确保安装了jdk1.8或者jdk11 下载对应版本的zip文件 将zip文件解压到一个目录,这里我解压到D:\scala-2.12.11 配置Scala的环境变量 检查是否安装成功 退出==:
阅读全文