随笔分类 - hadoop
摘要：查看文件 hdfs dfs -ls / 这是第一个命令，就是查看文件，我们知道hdfs是分布式文件存贮系统，他的主要作用就是进行文件操作，这个命令就会列出当前hdfs所存贮的文件，执行以下发现。 我们看到有两个文件，一个是test ，一个是tmp，当然了，如果你之前从来没有上传过，是什么都不会显示的
阅读全文
摘要：在AWS EMR使用多个Master高可用部署场景下，需要创建3台Master节点上。登录到其中一台节点，运行如下命令： yarn application -list 在某些场景下会遇到如下报错。报错信息： WARN ipc.Client: Failed to connect to server:
阅读全文
摘要：centos7 安装hadoop 2.7 - 准备工作 三台机器（内存大于2G） 分别写hosts、设定hostname 172.7.15.113 master 172.7.15.114 slave1 172.7.15.115 slave2 关闭selinux 关闭firewalld systemc
阅读全文
