摘要: and or not and or not &&和and:两个条件都为true,结果为true,反之为false ||或or: 只要有一个条件为true,结果为true,反之为false !或not: 如果连接的条件本身为false,结果为true,反之为false 三、模糊查询 like between and in is null 通配符: % 任意多个字符,包含0个字符 _ 任意单个字符 #ESCAPE转义字符 #安全等于 <=> 阅读全文
posted @ 2019-08-07 23:57 DiYong 阅读(366) 评论(0) 推荐(0) 编辑
摘要: select 查询列表 from 表名; USE test;    /*使用数据库*/ 起别名 AS 去重  DISTINCT #CONCAT(a,b) 连接 阅读全文
posted @ 2019-08-07 22:40 DiYong 阅读(296) 评论(0) 推荐(0) 编辑
摘要: MySQL安装与使用 图解MySQL程序结构 MySql数据库的安装 DBMS分为两类:– 基于共享文件系统的DBMS (Access )– 基于客户机——服务器的DBMS(MySQL、Oracle、SqlServer) • 社区版(免费)• 企业版(收费)Windows平台下下载:http://d 阅读全文
posted @ 2019-08-07 19:30 DiYong 阅读(191) 评论(0) 推荐(0) 编辑
摘要: MySQL SQL概述 数据库的好处: •实现数据持久化 •使用完整的管理系统统一管理易 数据库的概念: DB:数据库(database):存储数据的“仓库”。它保存了一系列有组织的数据。 DBMS:数据库管理系统(Database Management System)。数据库是通过DBMS创建和操 阅读全文
posted @ 2019-08-07 18:34 DiYong 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 稀疏数组sparseArray 应用实例 1) 使用稀疏数组,来保留类似前面的二维数组(棋盘、地图等等) 2) 把稀疏数组存盘,并且可以从新恢复原来的二维数组数 3) 整体思路分析 4) 代码实现 import scala.collection.mutable.ArrayBuffer //稀疏数组- 阅读全文
posted @ 2019-08-05 22:02 DiYong 阅读(595) 评论(0) 推荐(0) 编辑
摘要: 第2章 RDD编程(2.3) 2.3 TransFormation 基本RDD Pair类型RDD (伪集合操作 交、并、补、笛卡尔积都支持) 2.3.1 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 2.3.2 mapPartitions(func)  阅读全文
posted @ 2019-08-05 01:21 DiYong 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 第2章 RDD编程 2.1 编程模型 在Spark中,RDD被表示为对象,通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后,就可以调用actions触发RDD的计算,action可以是向应用程序返回结果(count, collect等),或者是向存储系 阅读全文
posted @ 2019-08-05 01:13 DiYong 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 第1章 RDD概念 弹性分布式数据集 1.1 RDD为什么会产生 RDD是Spark的基石,是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢? Hadoop的MapReduce是一种基于数据集的工作模式,面向数据,这种工作模式一般是从存储上加载数据集,然后操作数据集,最后写入物理存储设备 阅读全文
posted @ 2019-08-04 02:17 DiYong 阅读(1165) 评论(0) 推荐(0) 编辑
摘要: 第4章 IDEA环境应用 spark shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理jar包的依赖。 4.1 在IDEA中编写WordCount程序 1)创建一个Mave 阅读全文
posted @ 2019-08-04 02:04 DiYong 阅读(141) 评论(0) 推荐(0) 编辑
摘要: Spark安装地址、Standalone模式安装、JobHistoryServer配置、HA配置、Yarn模式安装 阅读全文
posted @ 2019-08-03 01:59 DiYong 阅读(252) 评论(0) 推荐(0) 编辑