摘要:
对 hive 本地mysql 远程 mysql 的读取 public class SparkSQL07_Source_MySQL { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环 阅读全文
摘要:
项目概述 项目名称:共享益 项目目标:通过建立一个共享平台,让用户可以共享资源(如物品、服务等),以提高资源利用效率,降低成本,促进社区互助和可持续发展。 Alpha阶段总结 2.1 目标和计划 初始目标:建立基本平台框架,实现用户注册、登录和资源发布功能。 计划内容:完成平台的基础架构设计,开发用 阅读全文
摘要:
sparksql对 json 和 csv文件的读取 public class SparkSQL05_Source_JSON_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境 阅读全文
摘要:
个人总结:大二学习与项目回顾 在大二这一年,我主要完成了SpringBoot和Vue项目,跟随课程完成了大事件后台管理系统的开发,并再次之后完成了一项个人的项目 共享益 。 学习了安卓开发内容,最开始的时候 用的是 java开发的安卓项目,再后来学习了 kotlin jetpack compose, 阅读全文
摘要:
sparkSql 读取json 文件 以及实体类的序列化 public class SparkSQL02_Model_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了 阅读全文
摘要:
sparkSql 配置 public class SparkSQL01_Env { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了封装 //new JavaSparkCon 阅读全文
摘要:
<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd"> < 阅读全文
摘要:
18万条数据 public class HotCategoryTop10_3 { public static void main(String[] args) { // TODO 搭建Spark的运行环境 SparkConf conf = new SparkConf(); conf.setAppNa 阅读全文
摘要:
更换了hadoop中的jdk的版本从1.8->17 rdd 行动算子 和 转换算子 序列化 // TODO // Spark在编写代码时,调用转换算子,并不会真正执行,因为只是在Driver端组合功能 // 所以当前的代码其实就是在Driver端执行 // 所以当前main方法也称之为driver方 阅读全文