摘要: 1T 文件,数字,行存储 ⇒ 排序 传统方法 第一种方法:判断每一行的所属范围[0,100][101,200],取出一小部分数据[0,100]排序,放入文件 第二种方法:分成N多个文件,文件内部有序,文件之间归并排序 瓶颈:单机处理文件太大 大数据 采用多台服务器运算 化整为零,并发执行=>Hado 阅读全文
posted @ 2020-07-03 11:48 Loading~ 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 转载地址:https://www.aboutyun.com/blog-40148-2944.html 怎么理解这两个文件? 这两个文件本质上是一样,都是备份。 先从盘古开天地讲起,(给你设计你会怎么设计) 一开始,光有namenode进程,还并没有这两个文件的概念,当外部客户端有操作了,nameno 阅读全文
posted @ 2020-07-03 11:32 Loading~ 阅读(438) 评论(0) 推荐(0) 编辑
摘要: 拓扑结构 正反向代理 正向代理代理客户端,反向代理代理服务器。 客户端是要进行一些正向代理的设置的。(自己知道自己在通过vpn访问google) 反向代理代理的是服务器,作为客户端的我们是无法感知到服务器的真实存在的。(自己并不知道nginx给我们做了代理) Nginx Apache apache是 阅读全文
posted @ 2020-07-03 09:12 Loading~ 阅读(311) 评论(0) 推荐(0) 编辑