yesyes1 - 博客园

2023年10月4日

摘要： 1、概念和原理同一个分区的数据会发送给同一个reduce；可以简单解释为————标记一样，放到一个reduce里面： 2、代码编写步骤（以中奖编号是否>15进行分区） 1、定义Mapper 可以自定义名称为PartitionMapper，并继承Mapper类：并重写map方法： 2、自定义pa 阅读全文

posted @ 2023-10-04 21:01 yesyes1 阅读(16) 评论(0) 推荐(0) 编辑

如果MapReduce打包之后，运行不成功

摘要：问题描述 MapReduce打包之后，运行出错；问题解决加上这么一句代码(在创建好Job对象之后)： job.setJarByClass(JobMain.class); 阅读全文

posted @ 2023-10-04 19:43 yesyes1 阅读(4) 评论(0) 推荐(0) 编辑

MapReduce运行模式

摘要： 1、yarn集群运行先将之前写好的MapReduce程序进行打包--Maven-->package；打包完成之后的jar包在target目录下可以找到！！！之后将jar包上传到我们的虚拟机文件夹里面去；之后输入命令： hadoop jar jar包名称 jar包主类的全路径名称回车之后开始阅读全文

posted @ 2023-10-04 19:37 yesyes1 阅读(9) 评论(0) 推荐(0) 编辑

MapReduce学习二之WordCount案例

摘要：一、案例概述 1、第一步--变成偏移量的K1，V1（这一步不需要我们自己写） 2、进入Map阶段输出新的<K2,V2>的键值对； 3、Shuffle阶段分区、排序、规约、分组输出新的键值对： 4、Reduce阶段转换为<K3,V3>的新的形式的键值对；利用TextOutputFormat的阅读全文

posted @ 2023-10-04 18:25 yesyes1 阅读(12) 评论(0) 推荐(0) 编辑

2023年10月3日

每日总结

摘要：今日收获将之前受困的springboot的一个知识点解决啦！正在学习MapReduce的内容；背了单词；明天预计继续学习MapReduce的相关知识；接着背单词；学习软考知识去；阅读全文

posted @ 2023-10-03 21:46 yesyes1 阅读(3) 评论(0) 推荐(0) 编辑

MapReduce学习一

摘要： 1、相关介绍--分而治之 MapReduce分布在Yarn集群 2、设计构思（以wordcount为例）第一步-->读取文件，读取为键值对类型，偏移量,该行的内容；第二步（Map阶段）-->转换成为另一种键值对模式，单词,1；第三步（Suffle阶段）-->转换成另一种键值对模式，单词,<有几阅读全文

posted @ 2023-10-03 21:44 yesyes1 阅读(1) 评论(0) 推荐(0) 编辑

使用Springboot实现点击名称跳转到详情页面

摘要：终于解决出来啦！！！嘎嘎嘎嘎~~~ 只需要在td标签里面嵌套上a标签就能实现啦！这里主要看一下功能，页面直接使用的白板~ html页面的具体代码如下（将超链接标签a的样式进行了美化）： <!DOCTYPE html> <html lang="en"> <head> <meta charset="U 阅读全文

posted @ 2023-10-03 20:21 yesyes1 阅读(33) 评论(0) 推荐(0) 编辑

梦断代码阅读笔记03

摘要： 1、程序员与用户的交涉读这本书，发现其实这个团队也有过交工的时候，只是仅仅在项目成员满意的情况下，而没有达到用户的预期，也就是二者沟通不充分，程序员本身并没有真正了解到用户的需求，只是按照自己认为的行事，导致了期望之间的偏差，也造成了工作量的加大，和项目的返工；这也和王老师之前上课时讲的相符合阅读全文

posted @ 2023-10-03 18:47 yesyes1 阅读(3) 评论(0) 推荐(0) 编辑

2023年10月2日

每日总结

摘要：今日收获今天背了单词！将国庆的作业写完啦！！（当然，后续有了更好的灵感会继续改正和完善）；还找了找关于C#的模板；明天预计学习大数据喽！！！背单词！！！备考软考！！再弄一弄C#的那个作业去；阅读全文

posted @ 2023-10-02 22:03 yesyes1 阅读(4) 评论(0) 推荐(0) 编辑

ER图（黑盒子系统的拆分）

摘要： 1、需要清楚的ER图的各个图形的含义矩形--实体类；椭圆形--实体类的属性；菱形--代表实体类之间的关系；虚线椭圆形--代表这个属性可以由其他属性派生出来（间接得到）；双实线矩形--代表弱实体，即必须依赖某个实体而存在；双实线椭圆形--代表多值属性，即一个实体的这个字段，可以有多个不同的阅读全文

posted @ 2023-10-02 15:05 yesyes1 阅读(82) 评论(0) 推荐(0) 编辑

liuzijin

公告