wqy1027

eeee

 

2022年8月24日

hadoop-day1-切分文件

摘要： java模拟切分文件 package com.shujia; import java.io.*; import java.util.ArrayList; public class SplitFileBlock { public static void main(String[] args) thro 阅读全文

posted @ 2022-08-24 21:04 不想写代码的小玉 阅读(37) 评论(0) 推荐(0) 编辑

hadoop day1

摘要： Hadoop2.7.6 hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTab 阅读全文

posted @ 2022-08-24 20:56 不想写代码的小玉 阅读(30) 评论(0) 推荐(0) 编辑

MapReduce-day1

摘要： MapReduce hadoop-ha问题 dfs.ha.fencing.methods 表示：a list of scripts or Java classes which will be used to fence the Active NameNode during a failover 而配 阅读全文

posted @ 2022-08-24 20:04 不想写代码的小玉 阅读(22) 评论(0) 推荐(0) 编辑

hadoop-day3 pm

摘要： Hadoop-HA（高可用） Hadoop1.x带来的问题 1、单点故障（HA主要解决的问题） a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 ​ b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 ​ c. 阅读全文

posted @ 2022-08-24 15:49 不想写代码的小玉 阅读(32) 评论(0) 推荐(0) 编辑

导航