一、课程概述
本次培训课程主要面向大数据系统管理人员和开发设计人员,基于开源社区大数据应用最活跃的Hadoop和HBase技术框架,围绕分布式文件存储(HDFS)、分布式并行计算(Map/Recue)和非关系型数据库(NoSql)三个大数据核心应用展开,旨在帮助培训对象建立起完整的大数据理论基础框架和实践操作能力。主要课程内容包括:
1.大数据应用发展史;
2.分布式文件系统HDFS原理与架构、HDFS系统管理、HDFS开发与设计;
3.分布式并行计算框架Map/Reduce工作原理与架构、Map/Reduce任务运行监控、Map/Reduce任务调度、Map/Redcue开发与设计;
4.非关系型数据库HBase逻辑架构、HBase物理存储、HBase关键流程和算法、HBase开发与设计;
5.大数据应用案例分析:金融、电信、互联网、电商平台
二、课程大纲
日程 |
课程模块 |
课程内容 |
第1天 |
大数据概述 |
什么是大数据? |
Hadoop概要 |
||
Hadoop生态系统介绍 |
||
Hadoop集群安装与部署 |
Hadoop独立部署 |
|
Hadoop伪分布式安装部署 |
||
Hadoop集群安装与部署 |
||
Hadoop配置参数管理 |
||
第2天 |
HDFS架构与原理 |
HDFS体系结构 |
HDFS读写过程-串行写与并行读 |
||
HDFS 管理接口-HDFS shell && HDFS Web Interface |
||
HDFS开发与设计 |
HDFS API接口介绍 |
|
HDFS Java接口实例 |
||
HDFS开发实例-基于HDFS实现云盘系统 |
||
第3天 |
Map/Reduce架构与原理 |
Map/Reduce体系结构 |
Map/Reduce管理接口-Map/Reduce shell && Map/Reduce Web Interface |
||
Map/Reduce开发与设计 |
Map/Reduce API接口介绍 |
|
Map/Reduce Java开发实例 |
||
第4天 |
HBASE架构与原理 |
HBASE体系结构 |
HBASE物理存储 |
||
HBASE关键流程算法 |
||
HBASE管理接口-HBase Shell&& HBase Web Interface |
||
HBASE与RDBMS的比较 |
||
HBASE开发与设计 |
HBASE API接口介绍 |
|
HBASE Java接口实例 |
||
HBASE优化专题-海量数据写入优化 |
||
第5天 |
Hadoop辅助支持工具 |
Hive-提供给SQL程序员最好的礼物 |
Pig-通过脚本实现Map/Reduce |
||
Sqoop-Hadoop时代的ETL |
三、服务支持
Hadoop培训交流群:293503507
培训邀请电话:13718542435
作者:张子良
出处:http://www.cnblogs.com/hadoopdev
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术
· .NET周刊【3月第1期 2025-03-02】