摘要:
Vi与Vim区别 vi:linux自带的文本编辑器,相当于windows中的记事本。 vim相当于window下的notepad++、Editplus,可以视作是vi的高级版本,是一种程序编辑器:可以主动地以字体颜色辨别语法的正确性、支持正则表达式的查找方式、多文本编辑、区块赋值 vi 一般命令模式 阅读全文
摘要:
map数量 计算向数据移动,map计算框架移动到Block map和Block不是一一对应,map与逻辑片(split)一一对应。原因:单个块可能过大,map处理时间长。所以block逻辑分块,多来几个map reduce数量 按理说reduce应该和key数量一样,但是可能存在不同key对应的数据 阅读全文
摘要:
全分布式安装 node0001-node0004安装JDK node0001-node0004ssh免密登录 修改node0001 全分布式配置文件 [node0001 namenode] [node0002 secondarynode][node0002 node0003 node0004 dat 阅读全文
摘要:
问题引入 有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,计算的压力得到缓解,那么每台机器的计算压力也不会很大了。 阅读全文
摘要:
1T 文件,数字,行存储 ⇒ 排序 传统方法 第一种方法:判断每一行的所属范围[0,100][101,200],取出一小部分数据[0,100]排序,放入文件 第二种方法:分成N多个文件,文件内部有序,文件之间归并排序 瓶颈:单机处理文件太大 大数据 采用多台服务器运算 化整为零,并发执行=>Hado 阅读全文
摘要:
转载地址:https://www.aboutyun.com/blog-40148-2944.html 怎么理解这两个文件? 这两个文件本质上是一样,都是备份。 先从盘古开天地讲起,(给你设计你会怎么设计) 一开始,光有namenode进程,还并没有这两个文件的概念,当外部客户端有操作了,nameno 阅读全文
摘要:
拓扑结构 正反向代理 正向代理代理客户端,反向代理代理服务器。 客户端是要进行一些正向代理的设置的。(自己知道自己在通过vpn访问google) 反向代理代理的是服务器,作为客户端的我们是无法感知到服务器的真实存在的。(自己并不知道nginx给我们做了代理) Nginx Apache apache是 阅读全文
摘要:
解决LVS问题 1.需要心跳机制探测后端RS是否提供服务。 探测down,需要从lvs中删除该RS 探测发送从down到up,需要从lvs中再次添加RS。 2.Lvs DR,需要主备(HA) 主广播自己状态,备随时观察主状态,准备代替 主挂了,备推选 原理 VRRP虚拟路由冗余协议 IP漂移 缺点 阅读全文
摘要:
应用层7 nginx 软件 表示层6 会话层5 传输层4 lvs 内核 网络层3 链路层2 物理层1 2. 整个互联网建立在下一跳的模式下 IP是逻辑上的两个端点 MAC是物理上连接的两个节点 端点间TCP传输过程中 确认机制 状态机制 不可分割 解析数据包需要成本 交换机:二层,只关心MAC地址 阅读全文
摘要:
` $imgName = html标签中img的名字; //$_FILES[$imgName]["name"] 获取图片本身的名字 拼接路径判断服务器目录是否已经有该图片 if (!(file_exists("../Public/img/" . $_FILES[$imgName]["name"])) 阅读全文