06 2024 档案
发表于 2024-06-20 23:54阅读:26评论:0推荐:0
摘要:复习计算机网络 。。。
阅读全文 »
发表于 2024-06-19 22:34阅读:2评论:0推荐:0
摘要:数据库 期末考试 复习 计算机网络
阅读全文 »
发表于 2024-06-18 23:49阅读:35评论:0推荐:0
摘要:复习数据库 学校抓人
阅读全文 »
发表于 2024-06-17 23:44阅读:1评论:0推荐:0
摘要:.。。 复习数据库 找人看软件
阅读全文 »
发表于 2024-06-16 23:44阅读:22评论:0推荐:0
摘要:public class SparkSQL09_Source_Req { public static void main(String[] args) { // TODO 在编码前,设定Hadoop的访问用户 System.setProperty("HADOOP_USER_NAME","atguig
阅读全文 »
发表于 2024-06-15 23:23阅读:25评论:0推荐:0
摘要:public class SparkSQL08_Source_Hive { public static void main(String[] args) { // TODO 在编码前,设定Hadoop的访问用户 System.setProperty("HADOOP_USER_NAME","hadoo
阅读全文 »
发表于 2024-06-14 23:38阅读:24评论:0推荐:0
摘要:对 hive 本地mysql 远程 mysql 的读取 public class SparkSQL07_Source_MySQL { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环
阅读全文 »
发表于 2024-06-13 23:34阅读:18评论:0推荐:0
摘要:项目概述 项目名称:共享益 项目目标:通过建立一个共享平台,让用户可以共享资源(如物品、服务等),以提高资源利用效率,降低成本,促进社区互助和可持续发展。 Alpha阶段总结 2.1 目标和计划 初始目标:建立基本平台框架,实现用户注册、登录和资源发布功能。 计划内容:完成平台的基础架构设计,开发用
阅读全文 »
发表于 2024-06-12 23:23阅读:30评论:0推荐:0
摘要:sparksql对 json 和 csv文件的读取 public class SparkSQL05_Source_JSON_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境
阅读全文 »
发表于 2024-06-11 23:33阅读:22评论:0推荐:0
摘要:个人总结:大二学习与项目回顾 在大二这一年,我主要完成了SpringBoot和Vue项目,跟随课程完成了大事件后台管理系统的开发,并再次之后完成了一项个人的项目 共享益 。 学习了安卓开发内容,最开始的时候 用的是 java开发的安卓项目,再后来学习了 kotlin jetpack compose,
阅读全文 »
发表于 2024-06-10 23:30阅读:21评论:0推荐:0
摘要:sparkSql 读取json 文件 以及实体类的序列化 public class SparkSQL02_Model_1 { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了
阅读全文 »
发表于 2024-06-09 23:25阅读:8评论:0推荐:0
摘要:sparkSql 配置 public class SparkSQL01_Env { public static void main(String[] args) { // TODO 构建环境对象 // Spark在结构化数据的处理场景中对核心功能,环境进行了封装 //new JavaSparkCon
阅读全文 »
发表于 2024-06-08 23:34阅读:5评论:0推荐:0
摘要:<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "https://mybatis.org/dtd/mybatis-3-mapper.dtd"> <
阅读全文 »
发表于 2024-06-07 23:44阅读:23评论:0推荐:0
摘要:18万条数据 public class HotCategoryTop10_3 { public static void main(String[] args) { // TODO 搭建Spark的运行环境 SparkConf conf = new SparkConf(); conf.setAppNa
阅读全文 »
发表于 2024-06-06 23:49阅读:6评论:0推荐:0
摘要:更换了hadoop中的jdk的版本从1.8->17 rdd 行动算子 和 转换算子 序列化 // TODO // Spark在编写代码时,调用转换算子,并不会真正执行,因为只是在Driver端组合功能 // 所以当前的代码其实就是在Driver端执行 // 所以当前main方法也称之为driver方
阅读全文 »
发表于 2024-06-05 23:36阅读:13评论:0推荐:0
摘要:rdd map filter flatmap groupby distinct sortby // TODO map方法的作用就是将传入的A转换为B返回,但是没有限制A和B的关系。 final JavaRDD<Integer> newRDD1 = rdd.map( num -> { System.o
阅读全文 »
发表于 2024-06-04 23:36阅读:18评论:0推荐:0
摘要:RDD分区 内存分区 /* 【1】 【2,3】 【4】 【5,6】 len=6, partnum=4 (0 until 4) => [0, 1, 2, 3] 0 => ((i * length) / numSlices, (((i + 1) * length) / numSlices)) => ((
阅读全文 »
发表于 2024-06-03 23:43阅读:9评论:0推荐:0
摘要:RDD 硬盘提取 public class Spark03_RDD_Disk { public static void main(String[] args) { final SparkConf conf = new SparkConf(); conf.setMaster("local"); con
阅读全文 »
发表于 2024-06-02 23:22阅读:5评论:0推荐:0
摘要:水
阅读全文 »
发表于 2024-06-01 23:46阅读:11评论:0推荐:0
摘要:一、整体感想 在完成《软件工程:构建之法》的阅读后,我对软件工程的理论与实践有了更深刻的理解。这本书不仅提供了丰富的知识,还通过实际案例和实践指导,帮助我更好地掌握了软件工程的各个环节。书中强调的系统性思维、团队合作和持续改进的理念,给我留下了深刻的印象。 二、核心内容回顾 1. 软件开发生命周期(
阅读全文 »