随笔档案「2021年3月」 - 陕西小楞娃

spark_streaming_微批量处理

摘要：数据处理方式有两种有界数据 --> 批量处理无界数据 --> 流式处理数据按照时间处理方式两种离线计算实时计算 spark streaming 微处理数据方式获取元数据，先receiver(并短暂存储) 在进行计算获取元数据，放入到队列中(存储) ，直接direct进行计算服务器方式阅读全文

posted @ 2021-03-16 23:18 陕西小楞娃阅读(468) 评论(0) 推荐(0)

spark_sql_解析器

摘要：解析器优点：如果没有解析器，你可能每次都去别的地方去查询，转换、在解析。有了解析器(内含所有解析的语法)，就直接解析。 idea安装antlr插件创建xx.g4文件 Test01.g4 grammar Test01; oxinit : '{' value (',' value)* '}'; v 阅读全文

posted @ 2021-03-15 21:02 陕西小楞娃阅读(276) 评论(0) 推荐(0)

spark_sql_函数

摘要：spark_sql_函数待定阅读全文

posted @ 2021-03-15 20:15 陕西小楞娃阅读(50) 评论(0) 推荐(0)

spark-sql-04-spark连接hive的几种方式

摘要：配置spark 目录：/opt/bigdata/spark-2.3.4-bin-hadoop2.6/conf[root@ke03 conf]# vi spark-env.sh 配置：export HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.6.5/etc/hadoop 阅读全文

posted @ 2021-03-12 00:03 陕西小楞娃阅读(524) 评论(0) 推荐(0)

spark-sql-04-on_hive

摘要：设置metastore 机器： ke01、ke02、ke03、ke04 ke03 为元数据库 ke01、ke02、ke04 连接到元数据库、 hive-metastore搭建 ke03: <configuration> <property> <name>hive.metastore.warehou 阅读全文

posted @ 2021-03-11 23:03 陕西小楞娃阅读(74) 评论(0) 推荐(0)

spark-sql-04-hive

摘要：pom: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.3.4</version></dependency> val ss = SparkSes 阅读全文

posted @ 2021-03-07 00:00 陕西小楞娃阅读(49) 评论(0) 推荐(0)

spark-sql-03从mysql获取数据上传数据

摘要：pom： <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.48</version></dependency> val conf = new SparkCo 阅读全文

posted @ 2021-03-06 23:40 陕西小楞娃阅读(103) 评论(0) 推荐(0)

spark-sql-02

摘要：def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local").setAppName("test") val session: SparkSession = SparkS 阅读全文

posted @ 2021-03-06 13:15 陕西小楞娃阅读(70) 评论(0) 推荐(0)

sprak-sql-01-基础

摘要：sql语言分为四类1.数据查询语言DQL (查询语句)2.数据操纵语言DML (删除、创建、更新)3.数据定义语言DDL (创建数据库中的各种对象—–表、视图、索引、同义词、聚簇)4.数据控制语言DCL (数据控制语言DCL用来授予或回收访问数据库的某种特权，并控制数据库操纵事务发生的时间及效果，对阅读全文

posted @ 2021-03-06 12:24 陕西小楞娃阅读(132) 评论(0) 推荐(0)