信2005-3胡奕成

总结

摘要： hadoop的特点 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失； 2）高扩展性：在集群间分配任务，可方便的扩展数以千计的节点； 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度； 4）高容阅读全文

posted @ 2022-10-09 09:39 信2005-3胡奕成阅读(16) 评论(0) 推荐(0) 编辑

总结

摘要： 1）namenode启动的时候，首先将映像文件(fsimage)载入内存，并执行编辑日志(edits)中的各项操作。（2）一旦在内存中成功建立文件系统元数据的映射，则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。（3）此刻namenode运行在阅读全文

posted @ 2022-09-17 21:38 信2005-3胡奕成阅读(17) 评论(0) 推荐(0) 编辑

hadoop

摘要： Mapper任务的执行过程每个 Mapper 任务是一个 java 进程，它会读取 HDFS 中的文件，解析成很多的键值对，经过我们覆盖的 map 方法处理后，转换为很多的键值对再输出把 Mapper 任务的运行过程分为六个阶段。第一阶段是把输入文件按照一定的标准分片(InputSplit)，每阅读全文

posted @ 2022-08-27 22:38 信2005-3胡奕成阅读(26) 评论(0) 推荐(0) 编辑

第二周总结

摘要： Block的副本放置策略（1）第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。（2）第二个副本：放置在于第一个副本不同的机架的节点上。（3）第三个副本：与第二个副本相同机架的节点。（4）更多副本：随机节点. HDFS文件权限（1）与Linu 阅读全文

posted @ 2022-07-10 17:31 信2005-3胡奕成阅读(17) 评论(0) 推荐(0) 编辑

第一周总结

摘要：安装了python和hadoop，途中遇到了一些困难，关闭防火墙出现了问题，在百度中查询得到了解决。总结 1、hadoop通过⼀个jobtracker分派任务到⼀系列tasktracker来运⾏，tasktracker同时向jobtracker返回任务运⾏结果。 jobtracker对作业的输⼊数阅读全文

posted @ 2022-07-03 18:01 信2005-3胡奕成阅读(8) 评论(0) 推荐(0) 编辑

开发进度

摘要：阅读全文

posted @ 2022-04-28 17:49 信2005-3胡奕成阅读(12) 评论(0) 推荐(0) 编辑

2022.4.3

摘要：待编阅读全文

posted @ 2022-04-03 23:21 信2005-3胡奕成阅读(12) 评论(0) 推荐(0) 编辑

大道至简读后感信2005-3胡奕成

摘要：大道至简这本书讲解了一些软件工程的思想，此书一共八个章节，其中每个章节都有好几个小节，思路清晰，让我对编程有了更进一步的认识，对算法也有了点认识，相信这对今后的学习会有帮助。正如本书的书名所说的，世界“虽变化万端，而理为一贯”，所谓达到很简单，只是人们把它复杂化了，而作者把这本书通过简单的话使道理阅读全文

posted @ 2021-08-07 10:29 信2005-3胡奕成阅读(31) 评论(0) 推荐(0) 编辑

31

摘要：在定义正则表达式之前，首先要知道一个正确 IP 地址的格式及组成部分。IP 地址由 4 字节构成，每字节的值为 0~255，各字节通过一个句点分隔。因此，IP 地址中的每字节有至少一个，至多三个数字。下面是为 IP 地址编写的正则表达式：\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1 阅读全文

posted @ 2021-08-06 19:33 信2005-3胡奕成阅读(24) 评论(0) 推荐(0) 编辑

30

摘要： String 类的 toLowerCase() 方法可以将字符串中的所有字符全部转换成小写，而非字母的字符不受影响。语法格式如下：字符串名.toLowerCase() // 将字符串中的字母全部转换为小写，非字母不受影响toUpperCase() 则将字符串中的所有字符全部转换成大写，而非字母的字符阅读全文

posted @ 2021-08-05 18:54 信2005-3胡奕成阅读(16) 评论(0) 推荐(0) 编辑

导航

公告

2022年10月9日

2022年9月17日

2022年8月27日

2022年7月10日

2022年7月3日

2022年4月28日

2022年4月3日

2021年8月7日

2021年8月6日

2021年8月5日