大数据究竟是什么
摘要：大数据是指为决策问题提供服务的大数据集、大数据技术和大数据应用这三个维度的总称。 其中大数据集是指一个决策问题所用到的所有可能的数据，通常数据量大、来源多、类型多样、有价值(4V特性) 大数据技术是指大数据采集、存储、挖掘分析、可视展现(可视化、报表、监控)等技术 大数据应用是指用大数据集和大数据技
阅读全文
posted @ 2016-02-15 21:09
随笔分类 - BigData
集群瓶颈：磁盘IO必读
摘要：首先需要知道什么是IO： IO是输入输出接口阅读本文章可以带着下面问题1.集群的瓶颈为什么IO？2.你对IO了解多少？这里面只说个人观点：当我们面临集群作战的时候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。...
阅读全文
posted @ 2015-12-04 21:27
集群瓶颈为什么是磁盘io
摘要：阅读本文思考：1.对磁盘IO了解多少2.为什么是磁盘IO是瓶颈，有没有自己的答案想了解磁盘io可以查看此帖：集群瓶颈：磁盘IO必读（磁盘IO：磁盘输出输出）集群的瓶颈提出多种看法，其中网络和磁盘io的争议比较大。这里需要说明的是网络是一种稀缺资源，而不是瓶颈。对于磁盘IO：当我们面临集群作战的时候，...
阅读全文
posted @ 2015-12-04 21:26
PayPal高级工程总监：读完这100篇论文 就能成大数据高手
摘要：开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，都有一大堆“新”框架、“新”类库或“新”工具，犹如雨后春笋般涌出...
阅读全文
posted @ 2015-11-22 13:46
