上一页 1 2 3 4 5 6 ··· 16 下一页
摘要: 对 hive 本地mysql 远程 mysql 的读取 public class SparkSQL07_Source_MySQL { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环 阅读全文
posted @ 2024-06-14 23:38 258333 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 项目概述 项目名称:共享益 项目目标:通过建立一个共享平台,让用户可以共享资源(如物品、服务等),以提高资源利用效率,降低成本,促进社区互助和可持续发展。 Alpha阶段总结 2.1 目标和计划 初始目标:建立基本平台框架,实现用户注册、登录和资源发布功能。 计划内容:完成平台的基础架构设计,开发用 阅读全文
posted @ 2024-06-13 23:34 258333 阅读(9) 评论(0) 推荐(0) 编辑
摘要: sparksql对 json 和 csv文件的读取 public class SparkSQL05_Source_JSON_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境 阅读全文
posted @ 2024-06-12 23:23 258333 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 个人总结:大二学习与项目回顾 在大二这一年,我主要完成了SpringBoot和Vue项目,跟随课程完成了大事件后台管理系统的开发,并再次之后完成了一项个人的项目 共享益 。 学习了安卓开发内容,最开始的时候 用的是 java开发的安卓项目,再后来学习了 kotlin jetpack compose, 阅读全文
posted @ 2024-06-11 23:33 258333 阅读(11) 评论(0) 推荐(0) 编辑
摘要: sparkSql 读取json 文件 以及实体类的序列化 public class SparkSQL02_Model_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了 阅读全文
posted @ 2024-06-10 23:30 258333 阅读(9) 评论(0) 推荐(0) 编辑
摘要: sparkSql 配置 public class SparkSQL01_Env { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了封装 //new JavaSparkCon 阅读全文
posted @ 2024-06-09 23:25 258333 阅读(5) 评论(0) 推荐(0) 编辑
摘要: <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd"> < 阅读全文
posted @ 2024-06-08 23:34 258333 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 18万条数据 public class HotCategoryTop10_3 { public static void main(String[] args) { // TODO 搭建Spark的运行环境 SparkConf conf = new SparkConf(); conf.setAppNa 阅读全文
posted @ 2024-06-07 23:44 258333 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 更换了hadoop中的jdk的版本从1.8->17 rdd 行动算子 和 转换算子 序列化 // TODO // Spark在编写代码时,调用转换算子,并不会真正执行,因为只是在Driver端组合功能 // 所以当前的代码其实就是在Driver端执行 // 所以当前main方法也称之为driver方 阅读全文
posted @ 2024-06-06 23:49 258333 阅读(4) 评论(0) 推荐(0) 编辑
摘要: rdd map filter flatmap groupby distinct sortby // TODO map方法的作用就是将传入的A转换为B返回,但是没有限制A和B的关系。 final JavaRDD<Integer> newRDD1 = rdd.map( num -> { System.o 阅读全文
posted @ 2024-06-05 23:36 258333 阅读(6) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 16 下一页