大数据漫谈
一 50年科技发展史
方向 | 公司组织 | 年代 | 代表 |
---|---|---|---|
大型机 | IBM | 70年代 | System z、AIX |
小型机 | DEC、SUN | 80年代 | SPARC、Solaris |
廉价PC+光纤 | 90年代 | Intel、Seagate | |
大数据 | 2003-2004 | GFS、MapReduce、BigTable | |
开源 | Apache | 2006-2007 | Hadoop、HBase |
人工智能、深度学习 | 2016 | TensorFlow |
“当网络变得像处理器一样快的时候,连到网络上的电脑就会变得空空如也。”
--埃里克 施密特,SUN CTO,1993
“互联网即将消失,物联网将无所不能。”
--埃里克 施密特,Google CEO,2015
背后的驱动力
网络->互联网->数据爆炸->大数据->人工智能
二 回到硬件
硬件 | 细节 |
---|---|
CPU | SIMD指令(Single Instruction Multiple Data)-向量化查询 |
GPU | 矩阵运算加速-算法 |
内存 | DDR、JVM-GC |
硬盘 | 接口:IDE/ATA、SATA、PCLE、SCSI、SAS、FC;分类:机械硬盘、固态硬盘;机械硬盘:5600转、7200转、垂直式、叠瓦式;读写:顺序读写、随机读写;RAID; |
网卡 | 千兆网卡、万兆网卡;交换机;网络抖动; |
性能量级
标的 | 特点 | 量级-顺序读写 | 量级-随机读写 |
---|---|---|---|
内存 | 容量小、特别贵、读写特别快、无持久化 | 10GB/S | 10GB/S |
机械硬盘HDD | 容量大、寿命长、便宜、读写慢(尤其是随机读写) | 100MB/S | 1MB/S |
固态硬盘SSD | 容量中、寿命短、一般贵、读写快 | 100MB/s | 10MB/s |
性能实例
https://www.userbenchmark.com/
内存
机械硬盘
固态硬盘
常识
标的1 | 标的2 | 对比 |
---|---|---|
GPU-矩阵运算 | CPU-矩阵运算 | 10倍以上 |
内存-读写 | 硬盘-顺序读写 | 100倍 |
内存-读写 | 固态硬盘-随机读写 | 1000倍 |
内存-读写 | 机械硬盘-随机读写 | 10000倍 |
固态硬盘-顺序读写 | 固态硬盘-随机读写 | 10倍 |
机械硬盘-顺序读写 | 机械硬盘-随机读写 | 100倍 |
固态硬盘-顺序读写 | 机械硬盘-顺序读写 | 10倍以内 |
固态硬盘-随机读写 | 机械硬盘-随机读写 | 10倍 |
- 机械硬盘随机读写瓶颈:机械臂寻址,寻址时间
- 机械硬盘的反击:组RAID、拼数量、顺序读写
清楚这些量级差距之后,就能了解海量实时写入为什么要这样实现,例如:HBase、Kafka
三 发展历程
2016:Is Big Data Still a Thing? (The 2016 Big Data Landscape)
https://mattturck.com/big-data-landscape/
2017:Firing on All Cylinders: The 2017 Big Data Landscape
https://mattturck.com/bigdata2017/
2018:Great Power, Great Responsibility: The 2018 Big Data & AI Landscape
https://mattturck.com/bigdata2018/
2019:A Turbulent Year: The 2019 Data & AI Landscape
https://mattturck.com/data2019/
2020:Resilience and Vibrancy: The 2020 Data & AI Landscape
https://mattturck.com/data2020/
2021: Red Hot: The 2021 Machine Learning, AI and Data (MAD) Landscape
https://mattturck.com/data2021/
---------------------------------------------------------------- 结束啦,我是大魔王先生的分割线 :) ----------------------------------------------------------------
- 由于大魔王先生能力有限,文中可能存在错误,欢迎指正、补充!
- 感谢您的阅读,如果文章对您有用,那么请为大魔王先生轻轻点个赞,ありがとう