网易微专业大数据工程师
本微专业由国际知名教育集团Wiley开发,面向全球化需求,并由Boolan博览网结合国内应用进行扩充。助你系统掌握大数据必备技能和核心技术,包括工具选择,存储、编程、处理和管理数据架构等。
全网独家大数据双语课程。英文内容,中文字幕,原版内容,保证质量。Wiley权威教育资源,顶尖国外公司高管、国内一线工程师协同开发,Boolan博览网学习服务支持。强强联手,打造最有特色的大数据课程。
课程安排
1、大数据基础必修
做为一名大数据工程师,不仅仅要了解核心技术,还需要了解技术架构是如何和商业环境、业务需求相匹配的。本课程先对大数据技术进行整体介绍,包括它的概念和商业应用状况,并讲解存储、处理和管理大数据的技术架构,介绍 Hadoop 生态系统和 MapReduce 框架是如何支持大数据管理的,并结合企业需求,阐述大数据技术架构是如何高效地实现需求,以及如何灵活支持需求的变更。
授课大纲:
大数据基础 | 大数据简介 |
大数据的商业应用 | |
【实验】辨识大数据的商业应用 | |
大数据处理技术 | |
理解 Hadoop 生态系统 | |
【实验】本地安装Hadoop和Hive | |
MapReduce 基础 | |
【实验】单节点安装Hbase | |
管理大数据生态系统 | 大数据技术基础 |
【实验】单节点安装 Pig | |
大数据管理系统——数据库和数据仓库 | |
【实验】安装 Apache Flume | |
分析大数据 | |
【实验】安装 Sqoop并连接到MySQL | |
数据集成、实时数据和大数据实现 | |
【实验】安装 ZooKeeper | |
大数据解决方案和动态数据 | |
【实验】安装 MongoDB |
2、大数据进阶(上)必修
对大数据工程师来说,本门课程是非常核心的。将深入讲解 Hadoop、HBase 和 HDFS 的存储结构,细致练习 MapReduce 编程技能,精深学习 Hadoop 生态系统中的 Hive、Oozie 和 ZooKeeper 等工具。
授课大纲:
数据的保存和处理 | 在 Hadoop 中保存数据 |
【实验】管理 Hbase 表中的记录 | |
用 MapReduce 处理数据 | |
【实验】开发MapReduce程序 | |
个性化设置MapReduce执行 | |
【实验】在实践中应用Hadoop MapReduce | |
测试和调试 MapReduce程序 | |
【实验】在MapReduce中连接Hbase数据 | |
开发MapReduce WordCount程序 | |
【实验】运行WordCount—程序 | |
用 Hive、Pig和 Oozie 提高效率 | 探索 Hive |
【实验】熟悉Hive | |
Hive高级查询 | |
【实验】使用Hive编写MapReduce程序 | |
用Pig分析数据 | |
【实验】运行Pig Grunt程序 | |
用Oozie做自动数据处理 | |
【实验】安装和配置 Oozie | |
使用 Oozie | |
创建 Oozie 工作流 |
3、大数据进阶(下)必修
本门课是 Wiley 大数据系列课程的进阶部分,将拓展您的视野,丰富您的武器库。首先会介绍更多的 Hadoop 工具,包括 ZooKeeper、Sqoop、Flume、YARN 和 Storm 等。然后讲解如何用 NoSQL 数据库处理无结构的大数据。接下来会介绍 Hadoop 的安全特性,如何在云端使用 Hadoop,和如何用 Hadoop 处理实时数据。最后会介绍若干种 Hadoop 的商业分发版。
授课大纲:
其它 Hadoop 工具:ZooKeeper、Sqoop、Flume、YARN 和 Storm | 用 ZooKeeper 调度分布式处理 |
【实验】配置Flume收集终端数据 | |
用Sqoop高效传输大量数据 | |
【实验】用Sqoop加载数据 | |
Flume | |
【实验】配置Flume收集本地文件内容 | |
超越MapReduce——YARN | |
【实验】配置Flume收集微博数据到HDFS | |
在YARN上使用Storm | |
【实验】安装Storm | |
使用NoSQL和Hadoop:实时、安全和云 | Hello NoSQL |
【实验】安装和使用Cassandra | |
使用NoSQL | |
【实验】使用MongoDB | |
Hadoop安全 | |
在AWS运行Hadoop应用 | |
实时Hadoop | |
用MapReduce实现WebCount | |
商用Hadoop分布与管理工具 | Cloudera基础与Cloudera管理 |
在Cloudera上使用Hive与Cloudera管理 | |
Hortonworks与Greenplum Pivotal HD | |
IBM InfoSphere BigInsights和MapR |
4、大数据开发必修
本章主要着重hadoop和hbase的实际应用开发及讲解,重点让同学们获得如何去开发和一定的开发实践。也会为大家对必要的知识进行讲解。
授课大纲:
大数据开发基础上 | HDFS原理介绍 |
Hadoop开发实例 | |
【实验】编写hadoop应用代码 | |
YARN原理介绍 | |
MR原理介绍 | |
mapreduce开发实例上 | |
【实验】编写mapreduce | |
大数据开发基础下 | Hbase原理介绍 |
Hbase开发实例 | |
【实验】编写hbase应用代码 | |
mapreduce开发实例中 | |
【实验】编写mapreduce | |
大数据开发进阶 | Hbase开发实例提高 |
【实验】编写hbase代码 | |
mapreduce开发实例下 | |
【实验】编写mapreduce代码 | |
HBase提高篇 | HBase bulkload代码讲解 |
【实验】HBase bulkload代码编写 | |
Hbase过滤器讲解 | |
【实验】编写hbase代码 |
5、大数据实战必修
大数据实战着重hadoop和hbase企业级应用,开篇以hadoop高可用和hbase高可用的搭建来实战部署企业的hadoop平台和hbase平台,后面的章节会有两个小型的项目进行开发及讲解,并会介绍一些在企业中常用的工具。
授课大纲:
搭建hadoop2 HA | 搭建hadoop2 HA介绍 |
搭建hadoop2 HA上 | |
【实验】搭建hadoop2 HA | |
搭建hadoop2 HA下 | |
【实验】搭建hadoop2 HA | |
搭建企业Hbase | HBase搭建实战原理讲解 |
搭建企业Hbase 上 | |
【实验】搭建Hbase | |
搭建企业Hbase 下 | |
【实验】搭建Hbase | |
Hadoop实战篇 | Hbase协处理器实战上 |
【实验】Hbase协处理器代码编写 | |
Hbase协处理器实战下 | |
【实验】Hbase协处理器代码编写 | |
Hbase二级索引 | |
【实验】二级索引代码编写 | |
Mapreduce实战 | |
【实验】项目代码编写 |
:)