当我说要做大数据工程师时他们都笑我，直到三个月后……

转载自：http://blog.csdn.net/gitchat/article/details/78341484

GitChat 作者：Fickr孫啟誠 
原文： 三个月大数据研发学习计划实战解析 
关注微信公众号：「GitChat 技术杂谈」 一本正经的讲技术

【不要错过文末彩蛋】

申明：

本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。

前言：

  • 一、背景介绍
  • 二、大数据介绍

正文：

  • 一、大数据相关的工作介绍
  • 二、大数据工程师的技能要求
  • 三、大数据学习规划
  • 四、持续学习资源推荐（书籍，博客，网站）
  • 五、项目案例分析（批处理+实时处理）

前言

一、背景介绍

本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。

二、大数据介绍

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

  1. 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。

  2. 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。

  3. 由于数据增长速度快，数据存储就必须可以水平扩展。

  4. 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

    对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

    普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

    但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

  5. 而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

  6. 为了提高工作效率，加快运速度，出现了一些辅助工具：

    • Ozzie，azkaban：定时任务调度的工具。
    • Hue，Zepplin：图形化任务执行管理，结果查看工具。
    • Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
    • Python语言：编写一些脚本时会用到。
    • Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

正文

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

  1. 大数据工程师
  2. 数据分析师
  3. 大数据科学家
  4. 其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：

enter image description here

必须掌握的技能11条

  1. Java高级(虚拟机、并发)
  2. Linux 基本操作
  3. Hadoop（HDFS+MapReduce+Yarn ）
  4. HBase（JavaAPI操作+Phoenix ）
  5. Hive(Hql基本操作和原理理解）
  6. Kafka
  7. Storm/JStorm
  8. Scala
  9. Python
  10. Spark (Core+sparksql+Spark streaming ）
  11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

  1. 机器学习算法以及mahout库加MLlib
  2. R语言
  3. Lambda 架构
  4. Kappa架构
  5. Kylin
  6. Alluxio

三、学习路径

假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；

3个月会有（21*3+4*2*10）*3=423小时的学习时间。

第一阶段（基础阶段）

1）Linux学习（跟鸟哥学就ok了）—–20小时

  1. Linux操作系统介绍与安装。
  2. Linux常用命令。
  3. Linux常用软件安装。
  4. Linux网络。
  5. 防火墙。
  6. Shell编程等。

官网：https://www.centos.org/download/ 
中文社区：http://www.linuxidc.com/Linux/2017-09/146919.htm

2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时

  1. 掌握多线程。
  2. 掌握并发包下的队列。
  3. 了解JMS。
  4. 掌握JVM技术。
  5. 掌握反射和动态代理。

官网：https://www.java.com/zh_CN/ 
中文社区：http://www.java-cn.com/index.html

3）Zookeeper学习（可以参照这篇博客进行学习：http://www.cnblogs.com/wuxl360/p/5817471.html）

  1. Zookeeper分布式协调服务介绍。
  2. Zookeeper集群的安装部署。
  3. Zookeeper数据结构、命令。
  4. Zookeeper的原理以及选举机制。

官网：http://zookeeper.apache.org/ 
中文社区：http://www.aboutyun.com/forum-149-1.html

第二阶段（攻坚阶段）

4）Hadoop （《Hadoop 权威指南》）—80小时

  1. HDFS

    • HDFS的概念和特性。
    • HDFS的shell操作。
    • HDFS的工作机制。
    • HDFS的Java应用开发。

  2. MapReduce

    • 运行WordCount示例程序。
    • 了解MapReduce内部的运行机制。 
      • MapReduce程序运行流程解析。
      • MapTask并发数的决定机制。
      • MapReduce中的combiner组件应用。
      • MapReduce中的序列化框架及应用。
      • MapReduce中的排序。
      • MapReduce中的自定义分区实现。
      • MapReduce的shuffle机制。
      • MapReduce利用数据压缩进行优化。
      • MapReduce程序与YARN之间的关系。
      • MapReduce参数优化。

  3. MapReduce的Java应用开发

官网：http://hadoop.apache.org/ 
中文文档：http://hadoop.apache.org/docs/r1.0.4/cn/ 
中文社区：http://www.aboutyun.com/forum-143-1.html

5）Hive（《Hive开发指南》）–20小时

  1. Hive 基本概念

    • Hive 应用场景。
    • Hive 与hadoop的关系。
    • Hive 与传统数据库对比。
    • Hive 的数据存储机制。

  2. Hive 基本操作

    • Hive 中的DDL操作。
    • 在Hive 中如何实现高效的JOIN查询。
    • Hive 的内置函数应用。
    • Hive shell的高级使用方式。
    • Hive 常用参数配置。
    • Hive 自定义函数和Transform的使用技巧。
    • Hive UDF/UDAF开发实例。

  3. Hive 执行过程分析及优化策略

官网：https://hive.apache.org/ 
中文入门文档：http://www.aboutyun.com/thread-11873-1-1.html 
中文社区：http://www.aboutyun.com/thread-7598-1-1.html

6）HBase（《HBase权威指南》）—20小时

  1. hbase简介。
  2. habse安装。
  3. hbase数据模型。
  4. hbase命令。
  5. hbase开发。
  6. hbase原理。

官网：http://hbase.apache.org/ 
中文文档：http://abloz.com/hbase/book.html 
中文社区：http://www.aboutyun.com/forum-142-1.html

7）Scala（《快学Scala》）–20小时

  1. Scala概述。
  2. Scala编译器安装。
  3. Scala基础。
  4. 数组、映射、元组、集合。
  5. 类、对象、继承、特质。
  6. 模式匹配和样例类。
  7. 了解Scala Actor并发编程。
  8. 理解Akka。
  9. 理解Scala高阶函数。
  10. 理解Scala隐式转换。

官网：http://www.scala-lang.org/ 
初级中文教程：http://www.runoob.com/scala/scala-tutorial.html

8）Spark （《Spark 权威指南》）—60小时

enter image description here

  1. Spark core

    • Spark概述。
    • Spark集群安装。
    • 执行第一个Spark案例程序（求PI）。

  2. RDD

    enter image description here

    • RDD概述。
    • 创建RDD。
    • RDD编程API（Transformation 和 Action Operations）。
    • RDD的依赖关系
    • RDD的缓存
    • DAG（有向无环图）

  3. Spark SQL and DataFrame/DataSet

    enter image description here

    • Spark SQL概述。
    • DataFrames。
    • DataFrame常用操作。
    • 编写Spark SQL查询程序。

  4. Spark Streaming

    enter image description here

    enter image description here

    • park Streaming概述。
    • 理解DStream。
    • DStream相关操作（Transformations 和 Output Operations）。

  5. Structured Streaming

  6. 其他（MLlib and GraphX ）

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。

官网：http://spark.apache.org 
中文文档（但是版本有点老）：https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details 
中文社区：http://www.aboutyun.com/forum-146-1.html

9）Python (推荐廖雪峰的博客—30小时

10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo —30小时

可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）

集群搭建文档1.0版本

1. 集群规划

enter image description here

所有需要用到的软件：

链接：http://pan.baidu.com/s/1jIlAz2Y 
密码：kyxl

2. 前期准备

  1. 2.0 系统安装
  2.  
  3. 2.1 主机名配置
  4.  
  5.     2.1.0 vi /etc/sysconfig/network
  6.         NETWORKING=yes
  7.  
  8.     2.1.1 vi /etc/sysconfig/network
  9.         NETWORKING=yes
  10.         HOSTNAME=ys02
  11.  
  12.     2.1.2 vi /etc/sysconfig/network
  13.         NETWORKING=yes
  14.  
  15.     2.1.3 vi /etc/sysconfig/network
  16.         NETWORKING=yes
  17.         HOSTNAME=ys04
  18.  
  19. 2.2 host文件修改
  20.     2.2.0 vi /etc/hosts
  21.         10.1.1.149 ys01
  22.         10.1.1.148 ys02
  23.         10.1.1.146 ys03
  24.         10.1.1.145 ys04
  25. 2.3 关闭防火墙(centos 7默认使用的是firewall，centos 6 默认是iptables)
  26.  
  27.     2.3.0 systemctl stop firewalld.service （停止firewall）
  28.  
  29.     2.3.1 systemctl disable firewalld.service （禁止firewall开机启动）
  30.  
  31.     2.3.2 firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
  32.  
  33. 2.4 免密登录(ys01 ->ys02,03,04)
  34.     ssh-keygen -t rsa
  35.     ssh-copy-id ys02(随后输入密码)
  36.     ssh-copy-id ys03（随后输入密码）
  37.     ssh-copy-id ys04（随后输入密码）
  38.     ssh ys02(测试是否成功)
  39.     ssh ys03(测试是否成功)
  40.     ssh ys04(测试是否成功)
  41.  
  42. 2.5 系统时区与时间同步
  43.     tzselect（生成日期文件）
  44.     cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime（将日期文件copy到本地时间中）

 

3. 软件安装

  1. 3.0 安装目录规划（软件为所有用户公用）
  2.  
  3.     3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft)
  4.  
  5.     3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app)
  6.  
  7.  3.1 JDK（jdk1.7）安装
  8.  
  9.     3.1.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
  10.  
  11.     3.1.2解压jdk
  12.       cd /usr/local/ys/soft
  13.         #解压
  14.         tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app
  15.  
  16.     3.1.3将java添加到环境变量中
  17.     vim /etc/profile
  18.     #在文件最后添加
  19.     export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
  20.     export PATH=$PATH:$JAVA_HOME/bin
  21.  
  22.     3.1.4 刷新配置
  23.     source /etc/profile
  24.  
  25. 3.2 Zookeeper安装
  26.  
  27.     3.2.0解压
  28.     tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app（解压）
  29.  
  30.     3.2.1 重命名
  31.     mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）
  32.  
  33.     3.2.2修改环境变量
  34.     vi /etc/profile(修改文件)
  35.     添加内容：
  36.     export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
  37.     export PATH=$PATH:$ZOOKEEPER_HOME/bin
  38.  
  39.     3.2.3 重新编译文件：
  40.     source /etc/profile
  41.     注意：3台zookeeper都需要修改
  42.  
  43.     3.2.4修改配置文件
  44.     cd zookeeper/conf
  45.     cp zoo_sample.cfg zoo.cfg
  46.     vi zoo.cfg
  47.     添加内容：
  48.     dataDir=/usr/local/ys/app/zookeeper/data
  49.     dataLogDir=/usr/local/ys/app/zookeeper/log
  50.     server.1=ys01:2888:3888 (主机名, 心跳端口、数据端口)
  51.     server.2=ys02:2888:3888
  52.     server.3=ys04:2888:3888
  53.  
  54.     3.2.5 创建文件夹
  55.     cd /usr/local/ys/app/zookeeper/
  56.     mkdir -m 755 data
  57.     mkdir -m 755 log
  58.  
  59.     3.2.6 在data文件夹下新建myid文件，myid的文件内容为：
  60.     cd data
  61.     vi myid
  62.     添加内容：
  63.         1
  64.     将集群下发到其他机器上
  65.     scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
  66.     scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/
  67.  
  68.     3.2.7修改其他机器的配置文件
  69.     到ys02上：修改myid为：2
  70.     到ys02上：修改myid为：3
  71.  
  72.     3.2.8启动（每台机器）
  73.     zkServer.sh start
  74.     查看集群状态
  75.     jps（查看进程）
  76.     zkServer.sh status（查看集群状态，主从信息）
  77.  
  78. 3.3 Hadoop（HDFS+Yarn）
  79.  
  80.     3.3.0 alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
  81.  
  82.     3.3.1 解压jdk
  83.       cd /usr/local/ys/soft
  84.         #解压
  85.         tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app
  86.  
  87.     3.3.2 修改配置文件
  88.  
  89. core-site.xml

 

enter image description here

  1. hdfs-site.xml

 

enter image description here

enter image description here

enter image description here

enter image description here

enter image description here

  1. yarn-sifite.xml

 

enter image description here

  1. svales
  2.  
  3. ys02
  4. ys03
  5. ys04
  6.  
  7. 3.3.3集群启动（严格按照下面的步骤）
  8.     3.3.3.1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk）
  9.         cd /usr/local/ys/app/zookeeper-3.4.5/bin/
  10.         ./zkServer.sh start
  11.         #查看状态：一个leader，两个follower
  12.         ./zkServer.sh status
  13.  
  14.     3.3.3.2启动journalnode（分别在在mini5、mini6、mini7上执行）
  15.         cd /usr/local/ys/app/hadoop-2.6.4
  16.         sbin/hadoop-daemon.sh start journalnode
  17.         #运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程
  18.  
  19.     3.3.3.3格式化HDFS
  20.         #在ys01上执行命令:
  21.         hdfs namenode -format
  22.         #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
  23.         scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
  24.         ##也可以这样，建议hdfs namenode -bootstrapStandby
  25.  
  26.     3.3.3.4格式化ZKFC(在ys01上执行一次即可)
  27.         hdfs zkfc -formatZK
  28.  
  29.     3.3.3.5启动HDFS(在ys01上执行)
  30.         sbin/start-dfs.sh
  31.  
  32.     3.3.3.6启动YARN
  33.         sbin/start-yarn.sh
  34.  
  35. 3.3MySQL-5.6安装
  36.     略过
  37.  
  38. 3.4 Hive
  39.  
  40.     3.4.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
  41.  
  42.     3.4.2解压
  43.     cd /usr/local/ys/soft
  44. tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app
  45.  
  46.     3.4.3 .配置hive
  47.  
  48.         3.4.3.1配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home
  49.  
  50.         3.4.3.2配置元数据库信息   vi  hive-site.xml

 

添加如下内容：

enter image description here

enter image description here

  1.     3.4.4 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
  2.     如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
  3.     mysql -uroot -p
  4.     #(执行下面的语句  *.*:所有库下的所有表   %：任何IP地址或主机都可以连接)
  5.     GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
  6.     FLUSH PRIVILEGES;
  7.  
  8.     3.4.5 Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
  9.  
  10.     3.4.6启动hive
  11.     bin/hive
  12.  
  13. 3.5 Kafka
  14.     3.5.1 下载安装包
  15.     http://kafka.apache.org/downloads.html
  16.     在linux中使用wget命令下载安装包
  17.     wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
  18.  
  19.   3.5.2 解压安装包
  20.     tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
  21. cd /usr/local/ys/app/
  22. ln -s kafka_2.11-0.8.2.2 kafka
  23.  
  24.   3.5.3 修改配置文件
  25.     cp 
  26.     /usr/local/ys/app/kafka/config/server.properties
  27.    /usr/local/ys/app/kafka/config/server.properties.bak
  28.     vi  /usr/local/ys/kafka/config/server.properties 

 

输入以下内容：

enter image description here

  1.     3.5.4 分发安装包
  2.     scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
  3.     scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
  4.     scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
  5.     然后分别在各机器上创建软连
  6.     cd /usr/local/ys/app/
  7.     ln -s kafka_2.11-0.8.2.2 kafka
  8.  
  9.  3.5.5 再次修改配置文件（重要）
  10.    依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
  11.  
  12.  3.5.6 启动集群
  13.     依次在各节点上启动kafka
  14.     bin/kafka-server-start.sh  config/server.properties
  15.  
  16. 3.6 Spark
  17.  
  18.     3.6.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
  19.  
  20.     3.6.2  解压安装包
  21. tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/
  22.  
  23.     3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves)
  24.     cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
  25.     进入conf目录并重命名并修改spark-env.sh.template文件
  26.     cd conf/
  27.     mv spark-env.sh.template spark-env.sh
  28.     vi spark-env.sh
  29.     在该配置文件中添加如下配置
  30.     export JAVA_HOME=/usr/java/jdk1.7.0_45
  31.     export SPARK_MASTER_PORT=7077
  32.     export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
  33.     保存退出
  34.     重命名并修改slaves.template文件
  35.     mv slaves.template slaves
  36.     vi slaves
  37.     在该文件中添加子节点所在的位置（Worker节点）
  38.     Ys02
  39.     Ys03
  40.     Ys04
  41.     保存退出
  42.  
  43.     3.6.4 将配置好的Spark拷贝到其他节点上
  44.     scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
  45.     scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
  46.     scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app
  47.  
  48.     3.6.5 集群启动
  49.     在ys01上执行sbin/start-all.sh脚本
  50.     然后在ys02上执行sbin/start-master.sh启动第二个Master
  51.  
  52. 3.7 Azkaban
  53.  
  54.     3.7.1 azkaban web服务器安装
  55.         解压azkaban-web-server-2.5.0.tar.gz
  56.         命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
  57.        将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver
  58.      命令: mv azkaban-web-server-2.5.0 ../azkaban
  59.        cd ../azkaban
  60.         mv azkaban-web-server-2.5.0   webserver
  61.  
  62.      3.7.2 azkaban 执行服器安装
  63.          解压azkaban-executor-server-2.5.0.tar.gz
  64.          命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
  65.      将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor
  66.    命令:mv azkaban-executor-server-2.5.0  ../azkaban
  67.    cd ../azkaban
  68.    mv azkaban-executor-server-2.5.0  executor
  69.  
  70.     3.7.3 azkaban脚本导入
  71.         解压: azkaban-sql-script-2.5.0.tar.gz
  72.         命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
  73.         将解压后的mysql 脚本,导入到mysql中:
  74.         进入mysql
  75.         mysql> create database azkaban;
  76.         mysql> use azkaban;
  77.         Database changed
  78.         mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;
  79.  
  80.     3.7.4 创建SSL配置
  81.     参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
  82.     命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
  83.     运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：123456)
  84.     输入keystore密码： 
  85.     再次输入新密码:
  86.     您的名字与姓氏是什么？
  87.     [Unknown]： 
  88.     您的组织单位名称是什么？
  89.     [Unknown]： 
  90.     您的组织名称是什么？
  91.     [Unknown]： 
  92.     您所在的城市或区域名称是什么？
  93.     [Unknown]： 
  94.     您所在的州或省份名称是什么？
  95.     [Unknown]： 
  96.     该单位的两字母国家代码是什么
  97.      [Unknown]：  CN
  98.     CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
  99.     [否]：  y
  100. 输入<jetty>的主密码（如果和 keystore 密码相同，按回车）： 
  101. 再次输入新密码
  102. 完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver
  103.  
  104.     3.7.5 配置文件
  105.     注：先配置好服务器节点上的时区
  106.     先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
  107.     拷贝该时区文件，覆盖系统本地时区配置
  108.     cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  
  109.  
  110.     3.7.6 azkaban web服务器配置
  111.     进入azkaban web服务器安装目录 conf目录
  112.     修改azkaban.properties文件
  113.     命令vi azkaban.properties

 

内容说明如下：

  1. *Azkaban Personalization Settings
  2. azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字
  3. azkaban.label=My Local Azkaban                               #描述
  4. azkaban.color=#FF3601                                                 #UI颜色
  5. azkaban.default.servlet.path=/index                         #
  6. web.resource.dir=web/                                                 #默认根web目录
  7. default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海 默认为美国
  8.  
  9. *Azkaban UserManager class
  10. user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类
  11. user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文
  12.  
  13. *Loader for projects
  14. executor.global.properties=conf/global.properties    # global配置文件所在位置
  15. azkaban.project.dir=projects                                                #
  16.  
  17. database.type=mysql                                                              #数据库类型
  18. mysql.port=3306                                                                       #端口号
  19. mysql.host=localhost                                                      #数据库连接IP
  20. mysql.database=azkaban                                                       #数据库实例名
  21. mysql.user=root                                                                 #数据库用户名
  22. mysql.password=Root123456                                                        #数据库密码
  23. mysql.numconnections=100                                                  #最大连接数
  24.  
  25. * Velocity dev mode
  26. velocity.dev.mode=false
  27. * Jetty服务器属性.
  28. jetty.maxThreads=25                                                               #最大线程数
  29. jetty.ssl.port=8443                                                                   #Jetty SSL端口
  30. jetty.port=8081                                                                         #Jetty端口
  31. jetty.keystore=keystore                                                          #SSL文件名
  32. jetty.password=123456                                                             #SSL文件密码
  33. jetty.keypassword=123456                                                      #Jetty主密码 与 keystore文件相同
  34. jetty.truststore=keystore                                                                #SSL文件名
  35. jetty.trustpassword=123456                                                   # SSL文件密码
  36.  
  37. * 执行服务器属性
  38. executor.port=12321                                                               #执行服务器端
  39.  
  40. *邮件设置
  41. mail.sender=xxxxxxxx@163.com                                       #发送邮箱
  42. mail.host=smtp.163.com                                                       #发送邮箱smtp地址
  43. mail.user=xxxxxxxx                                       #发送邮件时显示的名称
  44. mail.password=**********                                                 #邮箱密码
  45. job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
  46. job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
  47. lockdown.create.projects=false                                           #
  48. cache.directory=cache                                                            #缓存目录
  49.  
  50.          3.7.7azkaban 执行服务器executor配置
  51.          进入执行服务器安装目录conf,修改azkaban.properties
  52.          vi azkaban.properties
  53. *Azkaban
  54. default.timezone.id=Asia/Shanghai                                              #时区
  55.  
  56. * Azkaban JobTypes 插件配置
  57. azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置
  58.  
  59. *Loader for projects
  60. executor.global.properties=conf/global.properties
  61. azkaban.project.dir=projects
  62.  
  63. *数据库设置
  64. database.type=mysql                                                                       #数据库类型(目前只支持mysql)
  65. mysql.port=3306                                                                                #数据库端口号
  66. mysql.host=192.168.20.200                                                           #数据库IP地址
  67. mysql.database=azkaban                                                                #数据库实例名
  68. mysql.user=root                                                                       #数据库用户名
  69. mysql.password=Root23456                                #数据库密码
  70. mysql.numconnections=100                                                           #最大连接数
  71.  
  72. *执行服务器配置
  73. executor.maxThreads=50                                                                #最大线程数
  74. executor.port=12321                                                               #端口号(如修改,请与web服务中一致)
  75. executor.flow.threads=30                                                                #线程数

 

  1.     3.7.8用户配置
  2.     进入azkaban web服务器conf目录,修改azkaban-users.xml
  3.     vi azkaban-users.xml 增加 管理员用户

 

enter image description here

  1.     3.7.9 web服务器启动
  2.     在azkaban web服务器目录下执行启动命令
  3.     bin/azkaban-web-start.sh
  4.     注:在web服务器根目录运行
  5.     或者启动到后台
  6.     nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &
  7.  
  8.     3.7.10执行服务器启动
  9.  
  10.     在执行服务器目录下执行启动命令
  11.     bin/azkaban-executor-start.sh
  12.     注:只能要执行服务器根目录运行
  13.  
  14.     启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login
  15.  
  16. 3.8 Zeppelin
  17. 参照如下文件：
  18. http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817
  19. http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962
  20.  
  21. 3.9 HBase
  22.     3.9.1解压
  23.     tar –zxvf  /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz  -C /usr/local/ys/app
  24.  
  25.     3.9.2重命名
  26.     cd  /usr/local/ys/app
  27.     mv hbase-0.99.2 hbase
  28.  
  29.     3.9.3修改配置文件
  30.      每个文件的解释如下：
  31.     hbase-env.sh
  32.     export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80   //jdk安装目录
  33.     export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop  //hadoop配置文件的位置
  34.     export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）
  35.  
  36. hbase-site.xml

 

enter image description here

enter image description here

  1. Regionservers    //是从机器的域名
  2. Ys02
  3. ys03
  4. ys04
  5.  
  6. 注：此处HBase配置是针对HA模式的hdfs
  7.  
  8.     3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中
  9.     cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
  10.     cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf
  11.  
  12.     3.9.5发放到其他机器
  13.     scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
  14.     scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
  15.     scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app
  16.  
  17.     3.9.6启动
  18.     cd  /usr/local/ys/app/hbase/bin
  19.     ./ start-hbase.sh
  20.  
  21.     3.9.7查看
  22.     进程：jps
  23.     进入hbase的shell：hbase shell
  24.     退出hbase的shell：quit
  25.     页面：http://master:60010/ 
  26.  
  27. 3.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包)
  28.  
  29.     3.10.1上传jar包
  30.     略
  31.  
  32. 3.10.2 运行jar包
  33. nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

 

4. 集群调优

  1. 4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。
  2.  
  3. 4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。
  4.  
  5. 4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器2份，然后其他机架机器1份，可是两台机器四台虚机没有必要配感知个人感觉。
  6.  
  7. 4.4 配置参数调优
  8. 可以参考http://blog.csdn.net/chndata/article/details/46003399

 

第三阶段（辅助工具工学习阶段）

11）Sqoop（CSDN，51CTO ，以及官网）—20小时

enter image description here

  1. 数据导出概念介绍
  2. Sqoop基础知识
  3. Sqoop原理及配置说明
  4. Sqoop数据导入实战
  5. Sqoop数据导出实战、
  6. Sqoop批量作业操作

推荐学习博客：http://student-lp.iteye.com/blog/2157983 
官网：http://sqoop.apache.org/

12）Flume（CSDN，51CTO ，以及官网）—20小时

enter image description here

  1. FLUME日志采集框架介绍。
  2. FLUME工作机制。
  3. FLUME核心组件。
  4. FLUME参数配置说明。
  5. FLUME采集nginx日志案例（案例一定要实践一下）

推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html 
官网：http://flume.apache.org

13）Oozie（CSDN，51CTO ，以及官网）–20小时

enter image description here

  1. 任务调度系统概念介绍。
  2. 常用任务调度工具比较。
  3. Oozie介绍。
  4. Oozie核心概念。
  5. Oozie的配置说明。
  6. Oozie实现mapreduce/hive等任务调度实战案例。

推荐学习博客：http://www.infoq.com/cn/articles/introductionOozie 
官网：http://oozie.apache.org/

14）Hue（CSDN，51CTO ，以及官网）–20小时

推荐学习博客：http://ju.outofmemory.cn/entry/105162 
官网：http://gethue.com/

第四阶段（不断学习阶段）

每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

备注

1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。

2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。

3）快速学习的能力、解决问题的能力、沟通能力**真的很重要。

4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。

5）视频课程推荐：

可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。

四、持续学习资源推荐

  1. Apache 官网（http://apache.org/）
  2. Stackoverflow（https://stackoverflow.com/）
  3. Github(https://github.com/)
  4. Cloudra官网(https://www.cloudera.com/)
  5. Databrick官网(https://databricks.com/)
  6. About 云 ：http://www.aboutyun.com/
  7. CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）
  8. 至于书籍当当一搜会有很多，其实内容都差不多。

五、项目案例分析

1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）—-批处理

http://blog.csdn.net/u014033218/article/details/76847263

2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）—实时处理 
http://download.csdn.net/download/csdndataid_123/8079233

最后但却很重要一点:每天都会有新的技术出现，要多关注技术动向，持续学习。

以上内容不保证一年以后仍适用。

 

posted @ 2018-02-01 15:35  四叶草Grass  阅读(251)  评论(0)  编辑  收藏  举报