2014年6月2日

摘要: 本文链接:http://www.aboutyun.com/thread-7949-1-1.html问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flum... 阅读全文
posted @ 2014-06-02 13:12 布衣神帝 阅读(858) 评论(0) 推荐(0) 编辑

2014年5月30日

摘要: 本文链接:http://www.aboutyun.com/thread-7881-1-1.html问题导读:1.hive安装是否需要安装mysql?2.hive是否分为客户端和服务器端?3.hive的元数据库有哪两种?4.hive与hbase整合的关键是什么?5.hive的安装是否必须安装hadoo... 阅读全文
posted @ 2014-05-30 17:56 布衣神帝 阅读(521) 评论(0) 推荐(0) 编辑

2014年4月3日

摘要: 原文链接:http://www.aboutyun.com/thread-7225-1-1.html网上很多hadoop资料,openstack资料相对较少,这里整理一下,帮助初学者尽快入门。首先我们想学习openstack,那么openstack是什么?能干什么?涉及的初衷是什么?由什么来组成?刚接触openstack,说openstack不是一个软件,而是由多个组件进行组合,这是一个更深层次的理解,当我们看到dashboard的时候,我们或许对openstack感觉有一点感性认识了。dashboard可以理解为openstack与用户交流的一个窗口,而dashboard对于真正的使用者来讲, 阅读全文
posted @ 2014-04-03 14:07 布衣神帝 阅读(288) 评论(0) 推荐(0) 编辑

2014年3月10日

摘要: 原文链接http://www.aboutyun.com/thread-7091-1-1.html1.思想起源:我们在学习mapreduce,首先我们从思想上来认识。其实任何的奇思妙想,抽象的,好的想法、都来源于我们生活,而我们也更容易理解我们身边所发生事情。所以下面一篇便是从生活的角度,来让我们理解,什么是mapreduce。Hadoop简介(1):什么是Map/Reduce2.设计思路我们从思想上认识了mapreduce,那么mapreduce具体是什么,我们需要看得见,摸得着。我们该如何实现这个思想,我们该如何设计mapreduce。那么现在来说说它的设计思路。设计思路如何表示:ok下面的 阅读全文
posted @ 2014-03-10 23:54 布衣神帝 阅读(233) 评论(0) 推荐(0) 编辑

2014年2月12日

摘要: 大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性3.Spark与hadoop的关联是什么?4.Storm与hadoop的关联是什么?hadoop家族创始人:Doug Cutting整个Hadoop家族由以下几个子项目组成:Hadoop Comm 阅读全文
posted @ 2014-02-12 10:32 布衣神帝 阅读(574) 评论(2) 推荐(0) 编辑

2014年2月10日

摘要: 云计算技术:这里只是列出我所知道的,希望大家对云计算技术有所了解:一首先让大家明白什么是云端,所谓云端需要两层理解(1)服务不在本地,这一层可以理解为服务器(2)它和普通的服务器是不一样的,这些云端的服务器的资源是共享的,一旦一个服务器不能承受,将会把任务分配给其他机器。二、云技术与其他技术的区别:云技术可以使用的语言有java,c++等。云技术的开发,并没有发展什么新语言,而是在其他语言的基础上。比如Java语言。与其他技术,最显著的区别,不是在开发上,而是在于架构上,最显著的特点是分布式。三、下面给大家讲一下较火云技术:1、Hadoop Hadoop是一个框架,它是由Java语言来实现的。 阅读全文
posted @ 2014-02-10 04:23 布衣神帝 阅读(1364) 评论(0) 推荐(0) 编辑

2014年2月5日

摘要: Hadoop 面试题,看看书找答案,看看你能答对多少(2)1. 下面哪个程序负责 HDFS 数据存储。a)NameNodeb)Jobtrackerc)Datanode d)secondaryNameNode e)tasktracker答案C datanode2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份c)1 份d)不确定答案A默认3分3. 下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker答案D分析:hadoop的集群是基于master/slave模式 阅读全文
posted @ 2014-02-05 02:51 布衣神帝 阅读(8878) 评论(0) 推荐(1) 编辑

2014年2月3日

摘要: 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。首先整体说一下学习过程给大家借鉴:首先查阅了资料,什么hadoop,至于这方面,你可以参考这个帖子hadoop新手学习指导,这个可以让你明白什么hadoop。对这个有了整体的认识之后开始下面内容。我们知道hadoop,有单机安装,伪分布安装和分布安装。同时hadoop 阅读全文
posted @ 2014-02-03 01:42 布衣神帝 阅读(654) 评论(0) 推荐(1) 编辑

2014年1月29日

摘要: hadoop资料云端云计算2G基础课程 (Hadoop简介、安装与范例)炼数成金3G视频分享下载虚拟机三种网络模式该如何上网指导此为视频Hadoop传智播客七天hadoop(3800元)视频,持续更新Hadoop传智播客最新的hadoop学习资料第一季(1)需要简单了解Linux操作系统(本课程使用CentOS6.4操作系统);(2)需要java基础,因为hadoop是java语言写的,课程中会对hadoop源码进行简析。第一天资料:传智播客hadoop教程01-课程介绍以及hadoop的国内外发展状况传智播客hadoop教程02-hadoop生态圈介绍,介绍hadoop周边的很多框架传智播客 阅读全文
posted @ 2014-01-29 20:24 布衣神帝 阅读(529) 评论(0) 推荐(0) 编辑
摘要: Host-only模式实现联网得考虑如下配置过程:1、 安装VMware-Workstation,安装虚拟机Linux(centos、ubuntu等)完毕;2、设置虚拟机上网方式是Host-only,然后确认如下全部ip设置:(1)配置VMware Network Adapter VMnet1(即,主机的虚拟网卡,用来跟虚拟机通信的)查看主机的网络连接设置,找到如图示三个连接 其中,VMware Network Adapter VMnet8和NAT方式相关,本文暂不讨论。这里VMware Network Adapter VMnet1和Host-only相关,设置VMware ... 阅读全文
posted @ 2014-01-29 15:10 布衣神帝 阅读(344) 评论(0) 推荐(0) 编辑

导航