大数据基础知识

基本单位

Bit 位
Byte 字节
KB 千字节
还有 MB、GB、TB、PB、EB、YB、BB、NB、DB

单位转化

1 Byte = 8 Bit
1 KB = 1024 Byte
1 GB = 1024 KB
1 TB = 1024 GB(TB已经是很大量级的数据量了)
1 PB = 1024 TB
...

大数据的特点

1. 大量（Volume）
   个人计算机硬盘为TB级别，一些大企业接近EB量级。
2. 高速（Velocity）
3. 多样（Variety）：
   这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高的要求。
4. 低价值密度（Value）：
   对低价值密度的数据“提纯”效果越快就越有价值。

大数据的作用（应用领域）

1. O2O：线上对线下
2. 零售
3. 商品广告推荐
4. 房产
5. 保险
6. 金融
7. 人工智能

企业数据部的业务流程分析

业务人员提需求（统计用户访问数、用户下单数、用户支付数等）→数据部门分析数据→数据展示（报表平台组、发邮件、excle等）。

概念

QPS：每秒查询率
QPS=并发量/平均响应时间
并发量=QPS※平均响应时间
TPS:每秒传输的数据处理个数，即服务器每秒处理的事务数。TPS包括一条消息入和一条消息出，加上一次用户数据库访问（业务TPS=CAPS※每个呼叫平均TPS）。
CAPS：每秒简历呼叫数量
BHCA（忙时呼叫量）=CAPS※3600