linux进阶与hadoop

Linux进阶命令:
 find .
 | ls --help | more
 grep ll | grep 1.txt
  grep -ri  BASH 1.txt
  grep -ri BASH
 xargs cp 1.txt 2.txt 3.txt ddd
  grep -ril BASH | cp `xargs` ddd
  grep -ril BASH | xargs cp ddd

Linux系统命令:
 
 ps -Af  //列出所有进程 ps -ef
 netstat -anop //列出所有网络进程
 nano 1.txt & //将nano 1.txt放在后台
 jobs  //查看进程
 fg %1  //将1号进程放在前台运行
 bg %1  //后台
 kill [-9] PID //
 wc  //单词统计
 df -lh  //查看磁盘空间
 free -h  //查看内存状态

nc:
 网络工具 //瑞士军刀
 服务端:nc -lp 8888
 客户端:nc localhost 8888
 
大数据和hadoop:
 大数据:
  海量数据的处理和分析的技术 //存储和计算
 云服务:
  将资源整合到虚拟化平台,对外提供服务 

 
 分布式存储:
 分布式计算:
 分布式:
  多个主机的进程协同在一起,构成整个应用
 
hadoop:
 
 大数据存储和计算工具:
  
 HDFS:hadoop distributed filesystem 分布式存储工具
 MapReduce:    分布式计算框架
 
运行hadoop的Demo:
 1、启动hadoop:
  start-all.sh
 2、jps查看进程
  
 3、打开hadoop的WebUI:
  192.168.23.100:50070 
 4、hdfs上传数据:
  hdfs dfs -put 1.txt /
 5、运行wordcount单词统计
  1)切换到指定目录
   cd /soft/hadoop/share/hadoop/mapreduce/
  2)运行程序
   hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /1.txt /out
  3)查看输出文件
   hdfs dfs -cat /out/part-r-00000
  
页面打不开:
 
 1、进程没启动:jps查看是否存在Namenode进程
 2、Centos防火墙是否启动:需要关闭并禁用防火墙
  systemctl status firewalld
 3、不要使用windows自带浏览器

hadoop完全分布式搭建:
==========================================
 1个master
 3个slave
 8G内存:1 1 1 1
 12G内存:2,1.5,1.5,1.5
 16G内存:2,2,2,2
 1、克隆主机s101-s104
  1)关闭虚拟机,首先关闭hadoop进程
   $> stop-all.sh
   然后关闭
  2)克隆主机 ====> 链接克隆
  CentOS-7-x86_64-Minimal-1611-s101
  CentOS-7-x86_64-Minimal-1611-s102
  CentOS-7-x86_64-Minimal-1611-s103
  CentOS-7-x86_64-Minimal-1611-s104

 2、修改主机名+静态ip(s101-s104)
  主机名:
   /etc/hostname
  静态ip:
   /etc/sysconfig/network-scripts/ifcfg-ens33
  查看ip:
   ifconfig
  查看主机名
   hostname

  1)修改主机名:
   sudo nano /etc/hostname ====> s101
  2)修改静态ip:
   sudo nano /etc/sysconfig/network-scripts/ifcfg-ens33  ====> IPADDR=192.168.23.101
  3)重启centos:
   reboot
 
 2.5、设置hosts
  /etc/hosts
  sudo nano /etc/hosts,添加
  192.168.23.101  s101
  192.168.23.102  s102
  192.168.23.103  s103
  192.168.23.104  s104
  

  
 3、配置ssh免密登陆(s101)
  
  s101 -> s102 s103 s104
  1)在s101生成公私密钥对
   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2)配置免密登陆
   ssh-copy-id centos@s101
   ssh-copy-id centos@s102
   ssh-copy-id centos@s103
   ssh-copy-id centos@s104

  3)验证方式:
   ssh s102
   exit

 4、配置文件:s101
  scp使用:
  
   scp 1.txt centos@s102:~
       原文件 远程主机:路径

   scp -r //拷贝文件夹

  1)修改符号链接,将hadoop指向full
   cd /soft/hadoop/etc
   ln -sfT full/ hadoop

  2)配置文件:cd hadoop
   core-site.xml
   ================================
   <?xml version="1.0" encoding="UTF-8"?>
   <configuration>
    <property>
     <name>fs.defaultFS</name>
     <value>hdfs://s101:8020</value>
    </property>
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/centos/hadoop</value>
    </property>
   </configuration>
   hdfs-site.xml
   ======================================
   <?xml version="1.0" encoding="UTF-8"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
    <property>
     <name>dfs.replication</name>
     <value>3</value>
    </property>
   </configuration>
 
   mapred-site.xml
   ====================================
   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>
   </configuration>
 
   yarn-site.xml
   ===================================
   <?xml version="1.0"?>
   <configuration>
    <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>s101</value>
    </property>
    <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
    </property>
   </configuration>

    hadoop-env.sh
    ==================================
    将25行改为
    export JAVA_HOME=/soft/jdk
   
    slaves
    ===============================
    将localhost改为:
    s102
    s103
    s104
  3)分发配置文件:s101
   
   scp -r /soft/hadoop/etc/full/ centos@s102:/soft/hadoop/etc/
   scp -r /soft/hadoop/etc/full/ centos@s103:/soft/hadoop/etc/
   scp -r /soft/hadoop/etc/full/ centos@s104:/soft/hadoop/etc/
  4)修改s102-s104的符号链接:s101
   
   ssh s102 "ln -sfT /soft/hadoop/etc/full/ /soft/hadoop/etc/hadoop"
   ssh s103 "ln -sfT /soft/hadoop/etc/full/ /soft/hadoop/etc/hadoop"
   ssh s104 "ln -sfT /soft/hadoop/etc/full/ /soft/hadoop/etc/hadoop"
  
  5)同步hosts文件,注意需要输入密码
   
   scp /etc/hosts root@s102:/etc
   scp /etc/hosts root@s103:/etc
   scp /etc/hosts root@s104:/etc
  6)格式化文件系统
   s101 $> hdfs namenode -format
  7)启动hadoop
   s101 $> start-all.sh
  8)验证安装:jps
   s101:
    NameNode
    SecondaryNameNode
    ResourceManager
   s102-s104:
    NodeManager
    DataNode
  
 
HDFS端口:50070
MR端口:8088

hadoop细节:
===================================
 
 
    Common: hadoop工具模块,存放hadoop的一些依赖
    hdfs: hadoop分布式文件系统
    YARN: hadoop资源调度框架
   
    MapReduce: 基于yarn的分布式计算框架

    start-all.sh
     
 hdfs:
  namenode  //名称节点,在master上,负责存储hdfs文件的元数据 
  datanode  //数据节点,在slave上,负责存储真实数据
  secondarynamenode //辅助名称节点,用作检查点
 yarn:
  resourcenmanager //资源管理器,在master上,负责资源调度
  nodemanager  //节点管理器,在slave上,负责计算数据

 
hadoop配置文件分析:
==============================
 core-site.xml
 ------------------------------------------
  fs.defaultFS  //声明namenode的地址,相当于声明hdfs文件系统
  hadoop.tmp.dir  //声明hadoop工作目录的地址
 hdfs-site.xml
 -------------------------------------------
  dfs.replication  //软件级备份
 
 mapred-site.xml
 ---------------------------------------------
  mapreduce.framework.name //local  本地
      //mapred hadoop一代执行框架
      //yarn  二代执行框架

 yarn-site.xml
 -------------------------------------------
  yarn.resourcemanager.hostname //指定资源管理器(resourcemanager)的主机名
  yarn.nodemanager.aux-services //指定nodemanager使用shuffle

 slave文件:
 ========================================
  指定slave的主机名或ip
  在master节点通过slave文件,使用ssh命令启动slave节点的进程
 

hadoop基本命令:
======================================
 hdfs dfs -touchz /2.txt
 hdfs dfs -put 1.txt /
 hdfs dfs -get /2.txt .
 hdfs dfs -rmr /2.txt
 hdfs dfs -cat /2.txt
 hdfs dfs -ls /   //hdfs dfs -lsr / 列出文件夹

 列出文件,指定文件系统
 hdfs dfs -ls file:///home/centos
 
hadoop启动脚本分析:
=========================================
 start-all.sh
  
  start-dfs.sh
   //启动hdfs进程
   //namenode
   //datanode
   //secondarynamenode

  start-yarn.sh
   //启动yarn进程
   //resourcemanager
   //nodemanager

 hdfs getconf -namenodes  //获取namenode主机名

 hadoop-daemons.sh --hostnames s101 start namenode //单独启动namenode脚本
 hadoop-daemons.sh  start datanode   //单独启动datanode进程
 hadoop-daemons.sh --hostnames s101 start secondarynamenode //单独启动2nn脚本
 yarn-daemon.sh  start resourcemanager
 yarn-daemons.sh  start nodemanager

 hadoop-daemons.sh == ssh sxxx hadoop-daemon.sh
 hadoop-daemon.sh
 
 单独启动进程:
  hadoop-daemon.sh start namenode | datanode | secondarynamenode
  hadoop-daemon.sh stop namenode | datanode | secondarynamenode

  yarn-daemon.sh start resourcemanager | nodemanager
  yarn-daemon.sh stop resourcemanager | nodemanager
 
 
hdfs上传数据失败:
================================
 1、查看WebUI(192.168.23.101:50070)查看datanode是否存在
 2、查看s102-s104防火墙是否启动

datanode启动失败:
====================================
 删除启动失败节点的 /home/centos/hadoop/dfs/data目录,再次启动即可

namenode启动失败:s101
======================================
 查看/home/centos/hadoop是否存在
 1、存在 ===> 删除,并重新格式化
 2、不存在,或者存在且是非文件夹形式 ====> 删除,并重新格式化
 

创建myhadoop模块,并通过hadoopAPI实现文件读取
=========================================================
 1、将模块添加maven框架支持
 2、在pom.xml中添加以下依赖
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
    </dependencies>
     3、编写代码
     @Test
     public void testRead() throws IOException {
  Configuration conf = new Configuration();
  //代码入口点,初始化HDFS文件系统
  FileSystem fs = FileSystem.get(conf);
  //通过fs读取数据
  Path p = new Path("hdfs://s101:8020/1.txt");
  FSDataInputStream fis = fs.open(p);
  int len = 0;
  byte[] buf = new byte[1024];
  while((len = fis.read(buf)) != -1){
      System.out.println(new String(buf, 0, len));
  }
     }
  4、在项目的resources文件夹新建core-site.xml,并将Linux中的core-site.xml配置粘贴上去
   <?xml version="1.0" encoding="UTF-8"?>
  <configuration>
      <property>
   <name>fs.defaultFS</name>
   <value>hdfs://s101:8020</value>
      </property>
      <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/centos/hadoop</value>
      </property>
  </configuration>
 5、运行代码观察输出结果
  
 
 
 
 
 
 
 
 
   
  
 
 
 
  
 
 

 
 

 
posted @ 2018-08-06 16:28  失落的黎明  阅读(523)  评论(0编辑  收藏  举报