hadoop安装

1.下载解压：hadoop-2.7.7.tar

2.修改配置文件etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/latest

3.尝试命令

$ bin/hadoop

4.伪分布式配置

etc/hadoop/core-site.xml:

<configuration>
　 <!- namenode ->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:7000</value>
    </property>
</configuration>

 

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 好像hdfs设置datanode默认最少3，这里1不管用。 

 

5.设置ssh

ssh localhost

 

6.格式化

bin/hdfs namenode -format

 

7.Start NameNode daemon and DataNode daemon:

sbin/start-dfs.sh

 

8.hadoop默认端口

(9000)　　　fs.defaultFS，自定义端口，如：hdfs://172.25.40.171:9000

9001　　　　dfs.namenode.rpc-address，DataNode会连接这个端口

50070 　　 dfs.namenode.http-address

50470　　　dfs.namenode.https-address

50090　　　dfs.namenode.secondary.http-address，如：172.25.39.166:50090

50091　　　dfs.namenode.secondary.https-address，如：172.25.39.166:50091

50075　　　dfs.datanode.http.address（数据download需要）

50010         dfs.datanode.address，DataNode的数据传输端口

 

 

 

8.浏览器查看localhost:50070

 

9.终端查看：

查看文件夹
bin/hadoop fs -ls /flumeResume/data/2021-11-23

Found 2 items
-rw-r--r--   3 nuctech supergroup       1995 2021-11-23 16:43 /flumeResume/data/2021-11-23/FlumeData.1637656971481
-rw-r--r--   3 nuctech supergroup       1308 2021-11-23 16:55 /flumeResume/data/2021-11-23/FlumeData.1637657653666

查看文件
bin/hadoop fs -ls /flumeResume/data/2021-11-23/FlumeData.1637657653666

查看文件内容

bin/hadoop fs -cat /flumeResume/data/2021-11-23/FlumeData.1637656971481

bin/hadoop fs -cat /flumeResume/data/2021-11-23/FlumeData.1637656971481 | head -10 //前10行

bin/hadoop fs -cat /flumeResume/data/2021-11-23/FlumeData.1637656971481 | tail -5 //最后5行

bin/hadoop fs -cat /flumeResume/data/2021-11-23/FlumeData.1637656971481 | wc -l //查看行数

删除文件

bin/hadoop fs -rm /flumeResume/data/FlumeData.1638255829995