初识大数据

什么是大数据

大数据（BIGDATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产。

单位换算

• 1Byte = 8bit
• 1K=1024KByte
• 1MB = 1024K
• 1G = 1024MB
• 1T =1024G
• 1PB = 1024TB

大数据的特征

• 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；
• 种类（Variety）：数据类型的多样性；
• 速度（Velocity）：指获得数据的速度；
• 可变性（Variability）：妨碍了处理和有效地管理数据的过程。
• 真实性（Veracity）：数据的质量
• 复杂性（Complexity）：数据量巨大，来源多渠道
• 价值（value）：合理运用大数据，以低成本创造高价值

学习路线

• JAVA 面向对象编程语言
• Linux 类Unix操作系统
• Hadoop生态圈
  • HDFS 解决存储问题
  • MapReduce 解决计算问题
  • Yarn 资源协调者
  • Zookeeper 分布式应用程序协调服务
  • Flume 日志收集系统
  • Hive 基于Hadoop的数仓工具
  • HBase 分布式、面向列的开源数据库
  • Sqoop 数据传递工具
• Scala 多范式编程语言、面向对象和函数式编程的特性
• Spark 目前企业常用的批处理离线/实时计算引擎
• Flink 目前最火的流处理框架、既支持流处理、也支持批处理
• Elasticsearch 大数据分布式弹性搜索引擎
• 离线/实时项目

专业技能

就业大数据岗位

• 大数据开发工程师
• 大数据清洗开发工程师
• 大数据仓库开发工程师
• 大数据运维开发工程师
• 大数据平台开发工程师