《图解大数据》--（日）大河原克行

书中的记录：

1.大数据有标准的定义吗？

数据：处理数据，并发现新的内容，然后应用？

2.结构化信息：

顾客信息与新手数据这样有强的连接关系的。不如我们通常的可以制作成数据表格的形式，我们使用数据库的表示建立在有关联规则

3.非结构化数据

看起来杂乱无章的数据，比如我们在网上的搜索记录。总觉的没有任何意义的数据或信息

非结构化数据是指地啊你邮件，图像，影像等信息

在我们的生活中非结构化数据会随着人们使用软件，发布言论的增加而增加，而关键的问题就是 我们如何使得这些非结构化数据得到应用？

4.议题：生活中80%的数据是非结构化，而我们怎样去收集这些数据？？怎样去关联？？？怎样去使用？？

比如：在网上我们每天都会有大量的留言数据，怎样巧妙的收集数据？？以及建立合适的数据库？、

5.日本的IBM公司认为数据中的4个v

Variable  多样化

Velocity  高频化

Volume  海量化

Veracity  精确化

6.点击流：

人们在；浏览器记录，也就是通过什么途径进入网络，浏览了什么网页，浏览的时间等等

GPS（Global Positioning  System）：是一种利用卫星确定所在位置的系统，

7.Why 会进入大数据时代？？？

1）物联网的终端越来越多

2）社交媒体

3）云计算--存在于网络中的无限的资源

4）传感器持续的收集海量数据日志

8.分散处理海量数据的开源技术---Hadoop

可以将大量的工作拆分为给多台电脑同时处理的技术

9.统计处理大数据的技术

1）定期总结并处理交易数据等诗句的大批量处理技术

2）实时处理基于价格变动，股票交易的等数据的流式数据处理技术

10.划重点：

大数据时代并不单意味着信息的膨胀，迄今为止的计算手法变得不再有效也是大数据的本质

11.大数据的应用

1）推荐商品

长尾商品（Long Tail）即使销售不佳的商品，只要将他们大量聚集起来，他们共同占据的市场份额就会等于甚至超过位数不多的热卖商品，进而大大提高公司的整体销售额

2）用传感器数据预测天气情况

1：日本富士通公司是通过将国土保全局的数据将25平方米为单位划分为n个网状区域，每5分钟处理1亿条降雨量数据的方式，在现降雨区域的移动

2：可以通过雨刷的数据预测，降雨的趋势

3)掌握路况，实时的避免拥挤堵塞

4）信用卡公司可以防止不正当的行为带来的损失

使用Hadoop快速尽力良好的信用行为模型，若是行为不符合模型则进行警告

5）使用推文预测股价

6）在农业领域应用

可是根据每天测量土壤的状况决定是否需要进行相应的施肥，浇水等工作

7）医疗领域的应用

预测疾病

富士通公司的‘肌肤记忆’，推荐使用化妆品等等