大数据平台相关技术知识

数据采集

• 离线采集

sqoop
datax	 

• 实时采集

canel
Oracle GoldenGate（提供异构环境下交易数据的实时捕捉、变换、投递）		    

• 日志采集

Flume（实时采集、聚合、传输）
Logstash
Scribe	

数据储存

• 分布式文件系统

hdfs（可创建、删除、移动或重命名文件）

• 键值型数据库

hbase	
redis

• 分布式消息队列

Kafka(中间件，缓冲池，关键词：producer、kafka cluster[broker/topic/partition/leder/follower]、consumer）
rocketmq

数据分析

• 离线分析

Mapreduce
Spark
impala

• 实时分析

storm
spark streaming（
数据模型：采用RDD模型
运行架构：批计算，将DAG划分不同的stage，一个完成后才可以计算下一个
）

flink （
数据模型: flink基本数据模型是数据流，以及事/件序列;
运行架构是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点
进行处理）

数据可视化

hue
zeppelin
echarts