摘要：
Spark 安装配置与示例 Spark，它是大规模数据处理通用的并行化计算框架，基于MapReduce实现分布式计算，其中间结果可以保存在内存中，从而不再需要读写HDFS。Spark 是 Scala 语言实现的， Scala 也被用作其应用程序框架,Spark 和 Scala 能够紧密集成，Scal 阅读全文
摘要：
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop是为大数据集设计的。Sqoop支持增量更新，将新记 阅读全文
摘要：
Hive创建内外部表 Hive 数据库类似传统数据库，也是有数据库与表的概念，hive和关系数据库存储文件的系统不同，hive使用的是hadoop的HDFS（hadoop的分布式文件系统），关系数据库则是服务器本地的文件系统。Hive作用比如是为海量数据做数据仓库分析与挖掘之用等以及原理，可查看相关 阅读全文
摘要：
Hive 作为基于Hadoop的一个数据仓库工具，可将sql语句转换为MapReduce任务进行运行。 通过类SQL语句快速实现简单的MapReduce统计，不用开发专门的MapReduce应用 适合数据仓库的统计分析。基本上Hadoop应用时，都有Hive的影子，下面说下基本Hadoop如何安装配 阅读全文
摘要：
Hadoop 配置与运行 wordcount示例，也是个MapReduce示例 前面Hadoop安装分两部份，一是虚机的安装与配置， 二是Hadoop集群安装与配置 这里我们运行下hadoop 自带示例wordcount，当然在做这个示例前提是Hadoop已配置好，且已启动运行 Wordcount( 阅读全文
摘要：
安装Hadoop前置，当前是要准备好基础运行环境，这里我们准备了三台虚机，详见上篇博文 一、 准备上传工具 要安装hadoop相关软件 ，需要将对应的安装包上传到这些虚机服务器(vm centos)上 安装上传下载工具包rz及sz,查看下当前机子上是否有安装包 输入yum provides */rz 阅读全文
摘要：
安装 虚拟机(CentOS) 配置服务器间免验证登录 作为搭建Hadoop 相关应用平台的基础工作，先要安装与配置linux服务器资源，因条件有限，这里以虚拟机替代实体机，下面为如何安装与配置虚拟机的相关实践 一、安装vmware workstation与虚机 1、 安装包，可从VM官网下载 htt 阅读全文
摘要：
Dubbo、ZooKeeper、Moven project安装设置好后，我们就要应用Dubbo来实现服务的部署 Dubbo 服务分为服务提供端与消费端 1、下载dubbo.xsd文件，地址：http://download.csdn.net/detail/zp522123428/8036977 也可以 阅读全文
摘要：
这里服务器我们用的是一台Centos，在dubbo配置工作前，需要做以下准备工作 主要是应用环境的软件与工具配置 一、安装JDK 原有系统自带的版本可能较旧，需要重新安装新版本 1、 查看原有版本 yum list installed |grep java 或java -version 2、 卸载O 阅读全文
摘要：
前面我们已完成了Maven安装与配置、Jdk安装与配置 接下来在Eclipse中实际创建Maven类型Project 一、Eclipse中”File“--》”new“ --》”Other … “--》”Mave“--》”Maven Project “ Group ID：包名 Artifact Id 阅读全文