随笔分类 - 初识大数据
初识大数据（五. 大数据平台基本架构）
摘要：大数据开发，并不仅仅只是一两个组件的简单堆砌，而是需要按照实际的数据量、数据种类以及实际业务的需要进行大量的调优和二次开发，构成一个有机的整体，这样才能保证大数据平台的正常高效的运行。 一． 以下是一个大数据平台的基本组成图： 1． 硬件环境： 1） X86架构廉价服务器集群：hadoop技术栈是架
阅读全文
初识大数据（四. 大数据与人工智能的关系）
摘要：大数据与人工智能有什么关系呢？AI本身就是一种大数据的应用，特别是在对于AI系统进行训练的时候，使用的数据越多，AI系统就越先进。也就是说对于人工智能系统进行训练使用的数据量越大，数据质量越好，人工智能系统的质量就越高，从这个意义上来说AI本身也是一种大数据应用。 机器学习是人工智能的子集,深度学习
阅读全文
初识大数据（三. Hadoop与MPP数据仓库）
摘要：MPP代表大规模并行处理，这是网格计算中所有单独节点参与协调计算的方法。 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。 MPP DBMS是建立在这种方法之上的数据库管理系统。在这些系统中的每个查询都会被分解为由MPP网格的节点并行执行的一
阅读全文
初识大数据（二. Hadoop是什么）
摘要：hadoop是一个由Apache基金会所发布的用于大规模集群上的分布式系统并行编程基础框架。目前已经是大数据领域最流行的开发架构。并且已经从HDFS、MapReduce、Hbase三大核心组件成长为一个具有60多个组件构成的庞大生态，可以满足大数据采集、存储、开发、分析、算法、建模等方方面面。 在h
阅读全文
初识大数据（一. 什么是大数据）
摘要：什么是大数据？ 大数据（Big data），又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。并从各种各样类型的数据中，快速获得有价值信息
阅读全文
