摘要：
本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) 1.添加POM依赖 <dependency> <groupId 阅读全文
摘要：
本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming Custom Receivers 1.自定义数据采集器 package cn.coreqi.receiver; import org.apache.spark.storage.StorageLe 阅读全文
摘要：
参考地址：Spark Streaming Programming Guide 1.新建Maven项目,POM引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.13</artifact 阅读全文
摘要：
Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务 协议和接口同HiveServer2完全一致，无缝兼容HiveServer2 目的是取代HiveServer2，依旧可以和Hive的Metastore进行交互，获取Hive元数据 部署Spark 阅读全文
摘要：
本文的前提条件: SparkSQL in Java 1.增加POM依赖 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</artifactId> <version>8.0.33</version> </d 阅读全文
摘要：
Spark中本身内置了Hive，但一般用于测试，生产环境中需要连接外置的Hive 1.将Hive的配置文件hive-site.xml拷贝到Spark的配置目录下 cp /usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml /usr/spark/spar 阅读全文
摘要：
本文的前提条件: SparkSQL in Java 参考地址：JDBC To Other Databases 1.POM添加Mysql JDBC驱动 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</ar 阅读全文