任重而道远的小蜗牛

2019年2月25日

摘要：副本放置策略机架知识生产上尽量将读写的动作选取DN节点机架，一台机架放5台服务器，本来按位置来说可以放10个但是我们只放5个，原因是一台机架的电量是多大，一个机柜的电流的安培是有标准的（10A，20A，40A，还可以改造）所以每台机架放置服务台数的标准就是用机柜电流量的大小除以每台服务器所需电流阅读全文

posted @ 2019-02-25 20:42 任重而道远的小蜗牛阅读(968) 评论(0) 推荐(0) 编辑

HDFS读流程

摘要：读流程FSDataIutputStream1.Client通过FileSystem.open(filePath),去与NN进行【RPC】通信，返回该文件的部分或全部的block列表，也就是返回FSDataInputStream对象。 2.Client调用【FSDataInputStream】对象的r 阅读全文

posted @ 2019-02-25 17:19 任重而道远的小蜗牛阅读(225) 评论(0) 推荐(0) 编辑

HDFS写流程

摘要： HDFS写流程[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -put LICENSE.txt /19/02/20 21:30:22 WARN util.NativeCodeLoader: Unable to load native-hadoop 阅读全文

posted @ 2019-02-25 17:05 任重而道远的小蜗牛阅读(375) 评论(0) 推荐(0) 编辑

2019年2月24日

云主机被挖矿解决方法

摘要：云主机被挖矿的表现，机器运行很慢。 top命令发现有进程的cpu百分之100多，这种情况下基本上就是被挖矿了。（top命令的第一列就会进程的pid）此时ps -ef|grep PID看一下这个进程是不是我们自己的进程，如果确定不是即执行以下操作 crontab -l crontab -e 出现以下阅读全文

posted @ 2019-02-24 16:55 任重而道远的小蜗牛阅读(1818) 评论(0) 推荐(0) 编辑

snn剖析

摘要： snn是对nn的edits和fsmaqe进行备份的，备份频率为一小时一次并且备份是全部备份不是部分备份，就是从第一个edits文件到最新的文件全部备份 1.创建一个新的编辑日志文件edits.new，后续对文件系统的任何修改都记录到这个新编辑日志里；最后：将新的编辑日志edits.new改名为ed 阅读全文

posted @ 2019-02-24 16:37 任重而道远的小蜗牛阅读(804) 评论(0) 推荐(0) 编辑

HDFS架构设计

摘要： HDFS架构设计进程namenode nn 名称节点secondary namenode snn 第二名称节点datanode dn 数据节点主从架构Rack : 机架可以放多个主机 10个 GPU主机 5个 nn: 文件系统的命名空间a.文件名称b.文件目录结构c.文件属性创建时间权限副阅读全文

posted @ 2019-02-24 15:35 任重而道远的小蜗牛阅读(319) 评论(0) 推荐(0) 编辑

block块的学习

摘要：块block块的默认大小128M 块的副本数3 配置文件 hdfs-site.xml 配置信息从官网查询浏览器输入hadoop.apache.org 点击Learn more 出来以下页面病点击Single Node Setup 单节点部署点击单节点部署以后出来以下页面，在最左下角查找相关文件的阅读全文

posted @ 2019-02-24 14:52 任重而道远的小蜗牛阅读(192) 评论(0) 推荐(0) 编辑

2019年2月23日

hosts文件剖析

摘要： 1.hosts文件无论Linux还是window系统都有hosts文件 Linux/mac： hosts 文件目录 /etc/hosts局域网内网机器 /VM : 内网ip云服务器: 内网ip + 外网ip(ssh链接、打开服务web界面、对外提供服务) 总结云服务器本身自己组成的一个网络，会有一阅读全文

posted @ 2019-02-23 14:59 任重而道远的小蜗牛阅读(264) 评论(0) 推荐(0) 编辑

2019年2月22日

linux基本知识巩固20190129

摘要： 1.查看当前目录 ll 或者 ls2.输入一个命令，报错为command not found 你认为该怎么办which +命令看一下命令是否存在看一下配置文件/etc/profile 全局配置文件永久性alias看一下别名是否被定义 3.杀死进程，你认为应该做什么确定好要杀死进程的进程号，如果要阅读全文

posted @ 2019-02-22 16:35 任重而道远的小蜗牛阅读(312) 评论(0) 推荐(0) 编辑

企业JDK版本选择建议

摘要：保持在现有的JDK版本，如JDK7、JDK8 如果需要升级，可以考虑付费订阅或者AdoptOpenJDK 升级到JDK11这样的LIS版本除非有特定需求，不要选择JDK9/10/12这样的版本 JDK集合底层很多都改，面试的时候要说明版本之类的过度版本，不是长期支持版本！阅读全文

posted @ 2019-02-22 11:57 任重而道远的小蜗牛阅读(2828) 评论(0) 推荐(0) 编辑

IT界的小十七

公告