大数据技术需要懂哪些

 

文件存储： Hadoop HDFS、GFS、KFS、Tachyon
离线计算： Hadoop MapReduce、Spark
流式、实时计算：flink、Storm、JStorm、Spark Structured Streaming、Heron、Spark Streaming
存储格式：kudu、ORC、Apache Parquet、CarbonData
数据库： HBase、Redis、MongoDB、Couchbase、LevelDB、Apache Cassandra、Ignite、TiDB
资源管理： YARN、Mesos
日志收集： Flume、Scribe、Logstash、FileBeat
消息系统： Kafka、StormMQ、ZeroMQ、RabbitMQ、Confluent Platform
在线、离线查询搜索分析： Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid、ClickHouse、Elasticsearch
数据可视化查询分析工具：Apache Zeppelin、Kibana
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据同步： Sqoop、DataX、Cannal、Maxwell、Debezium、DataBus
任务调度： Azkaban、Oozie
数据安全：Apache Eagle
机器学习、数据挖掘：Spark MLLib、Mahout