随笔分类 -  大数据

摘要:数仓搭建之DWD层 DWD启动表数据解析 创建启动表 建表语句 hive (gmall)> drop table if exists dwd_start_log; hive (gmall)> CREATE EXTERNAL TABLE dwd_start_log( `mid_id` string, 阅读全文
posted @ 2022-02-10 10:56 Gazikel 阅读(30) 评论(0) 推荐(0) 编辑
摘要:![](https://img2022.cnblogs.com/blog/2089334/202202/2089334-20220201192855146-2013377267.png) ![](https://img2022.cnblogs.com/blog/2089334/202202/2089334-20220201193152199-224206989.png) ![](https://i 阅读全文
posted @ 2022-02-01 21:00 Gazikel 阅读(10) 评论(0) 推荐(0) 编辑
摘要:实验五-SparkSQL编程基础 阅读全文
posted @ 2022-01-13 19:30 Gazikel 阅读(17) 评论(0) 推荐(0) 编辑
摘要:实验4RDD编程初级实践 阅读全文
posted @ 2022-01-12 20:40 Gazikel 阅读(36) 评论(0) 推荐(0) 编辑
摘要:实验1 Linux系统的安装和常用命令 一、实验目的 (1)掌握 Linux 虚拟机的安装方法。Spark 和 Hadoop 等大数据软件在 Linux 操作系统上运行可以发挥最佳性能,因此,本教程中,Spark 都是在 Linux 系统中进行相关操作,同时,下一章的 Scala 语言也会在 Lin 阅读全文
posted @ 2022-01-10 21:19 Gazikel 阅读(181) 评论(0) 推荐(0) 编辑
摘要:模式匹配 Scala中的模式匹配类似于Java中的switch语法。 但是Scala从语法中补充了更多的功能,所以更加强大 基本语法 模式匹配语法中,采用match关键字声明,每个分支采用case关键字进行声明,当需要匹配时,会从第一个case分支开始,如果匹配成功,那么执行对应的逻辑代码,如果匹配 阅读全文
posted @ 2022-01-09 20:00 Gazikel 阅读(38) 评论(0) 推荐(0) 编辑
摘要:集合 集合简介 Scala的集合有三大类:序列Seq、集Set、映射Map,所有的集合都扩展自Iterable特质。 对于几乎所有的集合类,Scala都同时提供了可变和不可变的版本,分别位于以下两个包: 不可变集合:scala.collection.immutable 不可变集合:scala.col 阅读全文
posted @ 2022-01-08 20:00 Gazikel 阅读(31) 评论(0) 推荐(0) 编辑
摘要:spark学习 阅读全文
posted @ 2022-01-07 22:20 Gazikel 阅读(14) 评论(0) 推荐(0) 编辑
摘要:面向对象 Scala的面向对象思想和Java的面向思想和概念是一致的。 Scala中语法和Java不同,补充了更多的功能。 Scala包 package 包名 三大作用: 区分相同名字的类 当类很多的时候,可以很好的管理类 控制访问范围 包的命名 只能包含数字、字母、下划线、小圆点,但不能用数字开头 阅读全文
posted @ 2022-01-06 19:55 Gazikel 阅读(139) 评论(0) 推荐(0) 编辑
摘要:函数式编程 面向对象编程OOP 解决问题 分解对象,行为,属性,然后通过对象的关系以及行为的调用来解决问题。 对象:用户 行为:登录、JDBC、读取数据库 属性:用户名、密码 Scala语言是一个完全面向对象编程语言 对象的本质:对数据和行为的一个封装 函数式编程 函数式编程是种编程方式,它将电脑运 阅读全文
posted @ 2022-01-04 19:50 Gazikel 阅读(165) 评论(0) 推荐(0) 编辑
摘要:运算符 算数运算符 运算符 运算 范例 结果 + 正号 +3 3 - 负号 b=4; -b -4 + 加 5 + 5 10 - 减 6 - 4 2 * 乘 3 * 4 12 / 除 12 / 4 3 % 取模(取余) 7 % 5 2 + 字符串相加 "He" + "llo" "Hello" obje 阅读全文
posted @ 2022-01-02 20:32 Gazikel 阅读(71) 评论(0) 推荐(0) 编辑
摘要:变量和数据类型 注释 和 Java 中的注释一模一样,这里不做过多赘述。 // 单行注释 /* 多行注释 */ /* * 文档注释 */ 变量和常量 常量:在程序执行的过程中,其中不会被改变的变量 // 变量 // var 变量名 [: 变量类型] = 初始值 var i:Int = 20 // 常 阅读全文
posted @ 2022-01-01 20:25 Gazikel 阅读(51) 评论(0) 推荐(0) 编辑
摘要:环境搭建 Scala官网 Scala所有版本下载地址 这里选用Scala2.12.11 windows环境 确保安装了jdk1.8或者jdk11 下载对应版本的zip文件 将zip文件解压到一个目录,这里我解压到D:\scala-2.12.11 配置Scala的环境变量 检查是否安装成功 退出==: 阅读全文
posted @ 2021-12-28 20:07 Gazikel 阅读(39) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示