大数据学习(01)——开篇
单位最近开始做大数据平台,借此机会梳理一下大数据相关技术,分享出来共同学习。
为什么会出现大数据技术
随着计算机系统数据的快速增长,单台物理机已经没办法存储和计算这么大规模的数据量,于是大数据技术应运而生,它是分布式技术的一种。
一提到大数据技术,必然会涉及到Hadoop。google的两篇论文是它核心组成部分的理论基础。
它在2006年从Apache Nutch中独立出来,后来成为apache基金会的顶级项目。虽然它已经出现十几年了,但是它本身及其生态圈所蕴含的思想依然值得借鉴和学习。
下面是Hadoop生态包含的一些常用的软件产品和工具。
大数据技术的基本思想
- 分治
- 并行处理
这两个思想在日常生活中很常见。
比如说我们经常在新闻里看到谁谁谁背了一麻袋硬币去银行存钱,银行找来七八个柜员分头清点一整天一合计才知道有多少钱。这个任务要是交给一个柜员去做,那得清点到猴年马月去?这里面就包含了分而治之和并行处理的思想。
大数据技术的处理方式
- 移动计算力而不是数据
- 数据的处理尽量在本地完成
- 使用可顺序读取磁盘I/O代替随机读取磁盘I/O
- 数据分片
- 多副本
大数据能做什么
- 趋势预测
- 决策支持
- 精准营销
- 太多了,取决于抽象和建模
本篇先引出大数据的概念,后面再慢慢来学习。