大数据基础

下面整理了“大数据基础”的一系列知识，可供学习和参考。

--Java--

 

--Linux--

 

--Hadoop--

>>Hadoop是什么？

>>HDFS，Zookeeper，ZookeeperFailOverController（简称:ZKFC），JournalNode是什么？

>>HDFS-HA搭建

>>Hadoop常用命令

>>HDFS-API

>>Mapreduce，Yarn是什么？

>>通过Yarn搭建MapReduce和应用实例

>>MapReduce-API操作

 --Hive--

>>Hive是什么？

>>Hive的搭建

>>HiveCLI和Beeline命令行的基本使用

>>Hive常用DDL操作

>>Hive分区表和分桶表

>>Hive视图和索引

>>Hive数据查询详解

>>Hive的计算引擎Tez的简介和使用

 --Hbase--

>>Hbase是什么?

>>Hbase搭建

>>HBase Shell命令操作

>>HBase预分区方法

>>rowkey的设计及rowkey如何分到各个分区上？

>>Hbase_Java_API

>>Hbase过滤器详解

>>Hbase协处理器详解

>>Hbase容灾与备份

>>Hbase的SQL中间层_Phoenix

>>Spring+Mybatis+Phoenix整合

 --Flume--

>>Flume 简介及基本使用

>>Flume的搭建

>>Flume整合Kafka

 --Sqoop--

>>Sqoop简介与安装

>>Sqoop基本使用

>>通过Flume，Sqoop进行日志分析

 --CDH--

>>ClouderaManager和CDH是什么？

>>安装ClouderaManager,CDH和Impala,Hue，oozie等服务

 --Storm--

>>流式计算简介

>>Storm搭建与应用

 --Kafka--

>>Kafka简介

>>基于Zookeeper搭建Kafka高可用集群

>>Kafka生产者详解

>>Kafka消费者详解

>>Kafka深入理解分区副本机制

>>Kafka的搭建与应用

 --Elasticsearch--

>>Elasticsearch是什么?

>>Elasticsearch搭建与应用

 --Redis--

>>数据存储发展史

>>Redis集群分布式学习

 --Scala--

>>Scala简介及开发环境配置

>>Scala基本数据类型和运算符

>>Scala流程控制语句

>>Scala_Array

>>Scala_Collection

>>Scala_List和Set

>>Scala_Map和Tuple 

>>Scala类和对象

>>Scala继承和Trait 

>>Scala函数和闭包 

>>Scala模式匹配 

>>Scala类型参数 

>>Scala隐式转换和隐式参数  

>>Scala总体学习

--Spark Core--

>>Spark简介

>>Spark开发环境搭建

>>Spark_RDD

>>Spark_Transformation和Action算子

>>Spark部署模式与作业提交

>>Spark累加器与广播变量 

>>基于Zookeeper搭建Spark高可用集群

--Spark SQL--

>>SparkSQL_Dataset和DataFrame简介 

>>Spark_Structured API的基本使用 

>>SparkSQL外部数据源 

>>SparkSQL常用聚合函数 

>>SparkSQL联结操作 

--Spark Streaming--

>>Spark_Streaming与流处理

>>Spark_Streaming基本操作 

>>Spark_Streaming整合Flume 

>>Spark_Streaming整合Kafka 

>>Spark整体复习

>>Spark车辆监控项目

--Azkaban--

>>Azkaban简介

>>Azkaban_3.x_编译及部署 

>>Azkaban_Flow_1.0_的使用 

>>Azkaban_Flow_2.0_的使用

 --Python--

>>Python基础

>>Anaconda安装

>>PySpark

>>机器学习与数据挖掘

>>道路拥堵预测项目

 --Kylin--

>>Kylin是什么？

>>Kylin搭建与应用

 --Flink--

>>Flink核心概念综述

>>Flink开发环境搭建

>>Flink_Data_Source 

>>Flink_Data_Transformation

>>Flink_Data_Sink 

>>Flink_窗口模型 

>>Flink状态管理与检查点机制 

>>Flink_Standalone_集群部署

>>Flink学习总括

--优化--

>>大数据调优汇总

--打包--

>>大数据应用常用打包方式

--项目--