多多蘸酱

摘要： 1.DataNode工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳 阅读全文

摘要： 1.NN和2NN工作机制 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新 阅读全文

摘要： 1. HDFS的写数据流程 1.客户端通过fs模块向NameNode申请文件上传,NameNode检查请求是否合法,如用户权限,目标文件是否已存在,父目录是否存在等等 2.NameNode返回是否可以上传,如果是的话,建立连接通道 3.客户端通过FSDataOutputStream模块请求上传blo 阅读全文

摘要： 1 客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径 配置HADOOP_HOME的环境变量,并且在path中配置hadoop的bin 重启电脑 2. HdfsClientDemo 创建一个Maven项目,在pom.xml中导入相应的依赖,导入失败的话,试一试 阅读全文

摘要： 1．基本语法 使用 hadoop fs 具体命令 或者 hdfs dfs 具体命令 hadoop命令的shell源码 hdfs命令的shell源码 由此可见,这两个命令最后都是执行的一个java类的,而下面两张图是分别是fs和dfs的执行java类,是同一个类 所以,这两个方法是没有任何区别的,使用 阅读全文

摘要： HDFS产生背景 HDFS优缺点 HDFS组成架构 HDFS文件块大小 阅读全文

摘要： 准备工作 开启全部三台虚拟机,确保hadoop100的机器已经配置完成 分发脚本 操作hadoop100 新建一个xsync的脚本文件,将下面的脚本复制进去 给xsync文件加可执行权限 将xsync拷贝到 /bin 目录下,以后可以随处使用 运行以下命令,根据提示输入密码,将文件进行拷贝(拷贝前, 阅读全文

摘要： Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 1. Apache Hadoop 官网地址：htt 阅读全文

摘要： 准备工作 下载jdk8和hadoop2.7.2 使用sftp的方式传到hadoop100上的/opt/software目录中 配置环境 如果安装虚拟机时选择了open java,请先卸载 安装jdk 解压jdk /opt/module 解压hadoop 使用pwd命令获取jdk和hadoop的安装目 阅读全文

摘要： 准备工作 150G及以上的硬盘空间(因为要搭建3个系统组成的集群),cpu尽量i7-7xxx标压以上,内存16G及以上 自行搜索,下载,安装VMWare 准备CentOS6.8的镜像文件 注意:安装虚拟机前必须开启BIOS虚拟化支持 安装CentOS 右键刚刚创建好虚拟机,在菜单中选择"设置"选项 阅读全文