mtimeyu

摘要： HDFS的Java API Java API介绍 将详细介绍HDFS Java API，一下节再演示更多应用。 Java API 官网 Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/docs/r2.7.3/api/index.html 如上图所 阅读全文

摘要： 数据准备 通过HDFS 命令方式将本地words.txt文件上传到HDFS上 首先使用hdfs 来创建input文件夹 目录结构 点击打开pom.xml添加 编辑Java代码 在HdfsTest.java类中编辑代码如下： 程序说明： Configuration类：该类的对象封转了客户端或者服务器的 阅读全文

摘要： HDFS：分布式文件系统 HDFS参数解读 官方文档 Hadoop官方文档地址： http://hadoop.apache.org/docs/r2.7.3/ 由于Hadoop相关参数页面需要通过FireFox浏览器打开，这里需要你先安装FireFox浏览器。 下拉页面，可以在页面左下角找到“Conf 阅读全文

摘要： HDFS：分布式文件系统 HDFS集群模式 Hadoop环境变量 同理在node2和node3也要进行类似的环境变量配置。 准备工作 由于前面在node1上部署了Hadoop单机模式，需要停止Hadoop所有服务并清除数据目录。顺便检验一下设置的Hadoop环境变量。 清除Hadoop数据目录 co 阅读全文

摘要： HDFS：分布式文件系统 HDFS文件读写 文件访问权限 针对文件和目录，HDFS有与POSIX非常相似的权限模式。一共提供三类权限模式：只读权限（r）、写入权限(w)和可执行权限（x）。读取文件或列出目录内容时需要只读权限。写入一个文件，或是在一个目录上创建及删除文件或目录，需要写入权限。对于文件 阅读全文

摘要： HDFS：分布式文件系统 HDFS概述 在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，需要将数据集进行分区（partition）并存储到若干台独立自治计算机中。但是分区存储的数据不方便管理和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统（dist 阅读全文

摘要： 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下 然后找到datanode日志文件打开 如图， 阅读全文

摘要： Hadoop快速入门 WordContent简单应用 Hadoop的HelloWorld程序 创建HDFS目录 hdfs命令位于bin目录下，通过hdfs dfs -mkdir命令可以创建一个目录。 dfs创建的目录默认会放到/user/{username}/目录下面，其中{username}是当前 阅读全文

摘要： Hadoop快速入门 Hadoop单机运行 衔接上一章节，首先切换到Hadoop根目录 namenode格式化 执行bin/hadoop namenode -format命令，进行namenode格式化 在执行结果中可以找到has been successfully formatted，说明name 阅读全文

摘要： Hadoop快速入门 常见的Hadoop部署模式分为单机模式和集群模式，也称为伪分布式模式和分布式模式。 单机模式（伪分布式）模式是在一个节点上部署所有的Hadoop服务。在使用上，单机模式（伪分布式）模式跟集群模式（分布式模式）是一样的。 Hadoop单机配置 2.3节到2.5节内容参考官方文档： 阅读全文