基于Hadoop2.5.0的集群搭建
摘要:http://download.csdn.net/download/yameing/8011891一、规划1.准备安装包JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gzHadoop:h...
阅读全文
Hadoop集群(第10期)_MySQL关系数据库
摘要:1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双...
阅读全文
Hadoop,MapReduce操作Mysql
摘要:前以前帖子介绍,怎样读取文本数据源和多个数据源的合并:http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html 这一个博客介绍一下MapReduce怎样读取关系数据库的数据,选择的关系数据库为MySql,因为它是开源的软件,所以大...
阅读全文
MapReduce,DataJoin,链接多数据源
摘要:主要介绍用DataJoin类来链接多数据源,先看一下例子,假设二个数据源customs和orderscustomer ID Name PhomeNumber1 赵一 025-5455-5662 钱二 025-4587-5653 ...
阅读全文
Hadoop源码解析 1 --- Hadoop工程包架构解析
摘要:1Hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:ht...
阅读全文
Hadoop学习笔记(7) ——高级编程
摘要:Hadoop学习笔记(7) ——高级编程 从前面的学习中,我们了解到了MapReduce整个过程需要经过以下几个步骤: 1.输入(input):将输入数据分成一个个split,并将split进一步拆成。 2.映射(map):根据输入的进生处理, 3.合并(combiner):合并中间相两同的key值...
阅读全文
Hadoop学习笔记(6) ——重新认识Hadoop
摘要:Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce, DFS可以理解为一个分布式文件系统,存储而已,所以这里暂时就不深入研...
阅读全文
Hadoop学习笔记(5) ——编写HelloWorld(2)
摘要:Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了。但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce。没错,上一节我们写了一个MapReduce的HelloWorld程序,那这一节,我们就也学一学DFS程序的编写。 ...
阅读全文
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
摘要:Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。 下载 进入官网:http://eclipse.org/downloads/。 找到相应的...
阅读全文
Hadoop学习笔记(3)——分布式环境搭建
摘要:Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下。 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作...
阅读全文
Hadoop学习笔记(2)
摘要:Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载、安装、运行起来,最后还执行了一个Hello world程序,看到了结果。现在我们就来解读一下这个Hello Word。 OK,我们先来看一下当时在命令行里输入的内容: $mkdir input $cd in...
阅读全文
Hadoop学习笔记(1)
摘要:Hadoop是什么?先问一下百度吧: 【百度百科】一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),...
阅读全文
Windows Azure存储容器私有,公共容器,公共Blob的区别
摘要:当我们在Windows Azure中创建或编辑存储的容器时,需要选择访问类型,本文将描述一下这三个选项的区别。1. 私有:默认选项,顾名思义,用户不能通过URL匿名进行访问容器或容器内的任何Blob,访问必须要提供存储帐户名称与访问密钥。2. 公共Blob选择该选项后,容器内的所有文件均可通过URL...
阅读全文
关于Windows Azure 地缘组(Affinity Groups)
摘要:最近在和一些客户和朋友的沟通中,发现Windows Azure地缘组概念很少有了解。我的建议是使用地缘组来优化同一区域内的网络访问速度。如果我的说法有误,欢迎大家指正。关于“地缘组”的概念(摘自MSDN): “地缘组是一种对云服务进行分组的方式,通过使云服务在 Azure 数据中心内相互接近来实现...
阅读全文
使用Windows Azure创建和发布ASP.NET应用程序
摘要:Windows Azure为我们提供了一个功能强大的PaaS平台,使得我们无须部署和维护基础架构就可以根据需求发布开发的应用程序,并且支持多种语言及平台,如:ASP.NET, PHP, Python, Ruby, Java等。本文将会使用Visual Studio 2013创建一个新的Web应用程序...
阅读全文
创建并使用Windows Azure虚拟机模板
摘要:在现实的IaaS应用中,往往会创建自己的虚拟机映像模板,以满足快速应用部署的目标,如预先配置好某些应用、管理与监控管理等。1.登录到Windows Azure Dashboard中创建一个做为模板的虚拟机2.选择虚拟机模板及配置3. 创建完毕后,通过远程桌面登录到该虚拟机,并对该虚拟机进行配置,如:...
阅读全文
Windows Azure 设置虚拟机静态外网IP地址
摘要:官方说法叫做“虚拟公共IP地址保留”,为容易理解,我们称之为静态外网IP地址。如果在国内使用国际版Windows Azure服务时强烈推荐为虚拟机设置IP地址保留。由于Windows Azure Cloud Service的内部IP地址和虚拟公共IP地址(VIP)是非固定的,且不允许自行更改,很有可...
阅读全文
Windows Azure 配置多个站点的虚拟网络连接
摘要:通过上一篇"Windows Azure 虚拟网络配置(Site to Site)" 我们建立了可以进行Site to Site连接的虚拟网络,配置过后有些朋友会有疑问:如果需要连接多个Site,例如需要同时连接北京、上海两地办公室的网络,该如何配置?Windows Azure支持多站点的配置,不过可...
阅读全文
Windows Azure 虚拟网络配置(Site to Site)
摘要:上篇我们创建了Point to Site的虚拟网络连接,来满足客户端到云端网络的连接。本篇文章我们将创建Site to Site的虚拟网络连接,以满足本地网络到云端的网络连接。创建与配置过程与上篇较类似,相同之处大家可自行省略。1). 登录到Azure管理门户 国际版:https://manage...
阅读全文
Windows Azure 虚拟网络配置(Point to Site)
摘要:说明:本文以Azure国际版为例,中国版在网络位置会存在一定差异。1. 场景 虚拟网络为我们提供了在Windows Azure云计算环境上构建网络定义的能力,通过虚拟网络,我们可以方便地将Windows Azure中的虚拟机等资源按照不同的角色、用户进行网络规划。同时也可以和我们本地IT沟建“混和...
阅读全文
Microsoft Azure云计算第一步—试用帐户申请
摘要:从本文开始,将会对Microsoft Azure云从Iaas, Paas, Saas三种类型的云应用通过文章进行介绍。千里之行,始于帐户:),如果大家需要申请免费试用帐户请参考本文。 对于直接付钱的壕们,您可以选择关闭浏览器。 对我们广大天朝人民来说,有两个Microsoft Azure运营服务...
阅读全文
拥抱云计算
摘要:当今时代,大家对云计算(Cloud Computing)这个名词都非常的熟悉。从国际到国内,各大IT厂商纷纷对这个领域加大投入,经过几年的发展,基于云计算的相关应用也越发成熟,我们可以设想一下,当企业(个人)需要一项IT服务,如:计算资源(服务器、存储),软件服务(应用系统)、开发平台等资源,根据业...
阅读全文
面向云的流程平台
摘要:面向云的流程平台 传统的工作流管理系统(WFMC模型及BPMN2.0模型)经过多年发展已经能够满足企业对于业务流程信息化的各种需求。但是传统的工作流管理系统需要多次部署,分别维护,而且部署和维护的成本较高,使得企业应用的门槛较高;交付能力跟不上业务需求的变化,无法高效的满足弹性变化的访问需求。为了降...
阅读全文