06 2024 档案

摘要:复习计算机网络 。。。 阅读全文 »
posted @ 2024-06-20 23:54 258333 阅读(26) 评论(0) 推荐(0) 编辑
摘要:数据库 期末考试 复习 计算机网络 阅读全文 »
posted @ 2024-06-19 22:34 258333 阅读(2) 评论(0) 推荐(0) 编辑
摘要:复习数据库 学校抓人 阅读全文 »
posted @ 2024-06-18 23:49 258333 阅读(35) 评论(0) 推荐(0) 编辑
摘要:.。。 复习数据库 找人看软件 阅读全文 »
posted @ 2024-06-17 23:44 258333 阅读(1) 评论(0) 推荐(0) 编辑
摘要:public class SparkSQL09_Source_Req { public static void main(String[] args) { // TODO 在编码前,设定Hadoop的访问用户 System.setProperty("HADOOP_USER_NAME","atguig 阅读全文 »
posted @ 2024-06-16 23:44 258333 阅读(22) 评论(0) 推荐(0) 编辑
摘要:public class SparkSQL08_Source_Hive { public static void main(String[] args) { // TODO 在编码前,设定Hadoop的访问用户 System.setProperty("HADOOP_USER_NAME","hadoo 阅读全文 »
posted @ 2024-06-15 23:23 258333 阅读(25) 评论(0) 推荐(0) 编辑
摘要:对 hive 本地mysql 远程 mysql 的读取 public class SparkSQL07_Source_MySQL { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环 阅读全文 »
posted @ 2024-06-14 23:38 258333 阅读(24) 评论(0) 推荐(0) 编辑
摘要:项目概述 项目名称:共享益 项目目标:通过建立一个共享平台,让用户可以共享资源(如物品、服务等),以提高资源利用效率,降低成本,促进社区互助和可持续发展。 Alpha阶段总结 2.1 目标和计划 初始目标:建立基本平台框架,实现用户注册、登录和资源发布功能。 计划内容:完成平台的基础架构设计,开发用 阅读全文 »
posted @ 2024-06-13 23:34 258333 阅读(18) 评论(0) 推荐(0) 编辑
摘要:sparksql对 json 和 csv文件的读取 public class SparkSQL05_Source_JSON_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境 阅读全文 »
posted @ 2024-06-12 23:23 258333 阅读(30) 评论(0) 推荐(0) 编辑
摘要:个人总结:大二学习与项目回顾 在大二这一年,我主要完成了SpringBoot和Vue项目,跟随课程完成了大事件后台管理系统的开发,并再次之后完成了一项个人的项目 共享益 。 学习了安卓开发内容,最开始的时候 用的是 java开发的安卓项目,再后来学习了 kotlin jetpack compose, 阅读全文 »
posted @ 2024-06-11 23:33 258333 阅读(22) 评论(0) 推荐(0) 编辑
摘要:sparkSql 读取json 文件 以及实体类的序列化 public class SparkSQL02_Model_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了 阅读全文 »
posted @ 2024-06-10 23:30 258333 阅读(21) 评论(0) 推荐(0) 编辑
摘要:sparkSql 配置 public class SparkSQL01_Env { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了封装 //new JavaSparkCon 阅读全文 »
posted @ 2024-06-09 23:25 258333 阅读(8) 评论(0) 推荐(0) 编辑
摘要:<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd"> < 阅读全文 »
posted @ 2024-06-08 23:34 258333 阅读(5) 评论(0) 推荐(0) 编辑
摘要:18万条数据 public class HotCategoryTop10_3 { public static void main(String[] args) { // TODO 搭建Spark的运行环境 SparkConf conf = new SparkConf(); conf.setAppNa 阅读全文 »
posted @ 2024-06-07 23:44 258333 阅读(23) 评论(0) 推荐(0) 编辑
摘要:更换了hadoop中的jdk的版本从1.8->17 rdd 行动算子 和 转换算子 序列化 // TODO // Spark在编写代码时,调用转换算子,并不会真正执行,因为只是在Driver端组合功能 // 所以当前的代码其实就是在Driver端执行 // 所以当前main方法也称之为driver方 阅读全文 »
posted @ 2024-06-06 23:49 258333 阅读(6) 评论(0) 推荐(0) 编辑
摘要:rdd map filter flatmap groupby distinct sortby // TODO map方法的作用就是将传入的A转换为B返回,但是没有限制A和B的关系。 final JavaRDD<Integer> newRDD1 = rdd.map( num -> { System.o 阅读全文 »
posted @ 2024-06-05 23:36 258333 阅读(13) 评论(0) 推荐(0) 编辑
摘要:RDD分区 内存分区 /* 【1】 【2,3】 【4】 【5,6】 len=6, partnum=4 (0 until 4) => [0, 1, 2, 3] 0 => ((i * length) / numSlices, (((i + 1) * length) / numSlices)) => (( 阅读全文 »
posted @ 2024-06-04 23:36 258333 阅读(18) 评论(0) 推荐(0) 编辑
摘要:RDD 硬盘提取 public class Spark03_RDD_Disk { public static void main(String[] args) { final SparkConf conf = new SparkConf(); conf.setMaster("local"); con 阅读全文 »
posted @ 2024-06-03 23:43 258333 阅读(9) 评论(0) 推荐(0) 编辑
摘要:水 阅读全文 »
posted @ 2024-06-02 23:22 258333 阅读(5) 评论(0) 推荐(0) 编辑
摘要:一、整体感想 在完成《软件工程:构建之法》的阅读后,我对软件工程的理论与实践有了更深刻的理解。这本书不仅提供了丰富的知识,还通过实际案例和实践指导,帮助我更好地掌握了软件工程的各个环节。书中强调的系统性思维、团队合作和持续改进的理念,给我留下了深刻的印象。 二、核心内容回顾 1. 软件开发生命周期( 阅读全文 »
posted @ 2024-06-01 23:46 258333 阅读(11) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示