会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
别先生
代码改变世界,你改变代码===>你改变世界。老铁,没毛病。Date:2017/11/22
爱生活,爱工作。
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
18
19
20
21
22
23
24
25
26
···
30
下一页
2017年10月31日
一脸懵逼学习Storm---(一个开源的分布式实时计算系统)
摘要: Storm的官方网址:http://storm.apache.org/index.html 1:什么是Storm? Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景:如实时分析,在线机器学习,持续计算, 分布式RPC,
阅读全文
posted @ 2017-10-31 16:53 别先生
阅读(1542)
评论(1)
推荐(1)
编辑
2017年10月25日
一脸懵逼学习HBase的搭建(注意HBase的版本)
摘要: 1:由于HBase依赖hdfs,所以下载的时候注意HBase的版本: 注:我使用的是hadoop2.4版本的,所以HBase选择支持2版本的:hbase-0.96.2-hadoop2-bin.tar.gz 2:上传hbase安装包,上传到一台机器即可: 建议:自己规划一下自己的机器,最好是独立的,再
阅读全文
posted @ 2017-10-25 18:04 别先生
阅读(17229)
评论(0)
推荐(1)
编辑
一脸懵逼学习HBase---基于HDFS实现的。(Hadoop的数据库,分布式的,大数据量的,随机的,实时的,非关系型数据库)
摘要: 1:HBase官网网址:http://hbase.apache.org/ 2:HBase表结构:建表时,不需要指定表中的字段,只需要指定若干个列族,插入数据时,列族中可以存储任意多个列(即KEY-VALUE,列名称-列值);一个value可以有多个版本,通过版本号来区分(时间戳) 3:要查询某一个具
阅读全文
posted @ 2017-10-25 15:25 别先生
阅读(2063)
评论(0)
推荐(0)
编辑
2017年10月20日
一脸懵逼学习Hive的使用以及常用语法(Hive语法即Hql语法)
摘要: Hive官网(HQL)语法手册(英文版):https://cwiki.apache.org/confluence/display/Hive/LanguageManual Hive的数据存储 1、Hive中所有的数据都存储在 HDFS 中,没有专门的数据存储格式(可支持Text,SequenceFil
阅读全文
posted @ 2017-10-20 17:07 别先生
阅读(42648)
评论(2)
推荐(3)
编辑
一脸懵逼学习Hive的元数据库Mysql方式安装配置
摘要: 1:要想学习Hive必须将Hadoop启动起来,因为Hive本身没有自己的数据管理功能,全是依赖外部系统,包括分析也是依赖MapReduce; 2:七个节点跑HA集群模式的: 第一步:必须先将Zookeeper启动起来(HA里面好多组件都依赖Zookeeper): 切换目录,启动Zookeeper(
阅读全文
posted @ 2017-10-20 11:08 别先生
阅读(8387)
评论(0)
推荐(0)
编辑
2017年10月18日
一脸懵逼学习Hive的安装(将sql语句翻译成MapReduce程序的一个工具)
摘要: Hive只在一个节点上安装即可: 1.上传tar包:这个上传就不贴图了,贴一下上传后的,看一下虚拟机吧: 2.解压操作: [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图: 3:解压缩以后启动一下hive: 4:开始操作sql:
阅读全文
posted @ 2017-10-18 17:46 别先生
阅读(1092)
评论(0)
推荐(0)
编辑
一脸懵逼学习Hive(数据仓库基础构架)
摘要: Hive是什么?其体系结构简介*Hive的安装与管理*HiveQL数据类型,表以及表的操作*HiveQL查询数据***Hive的Java客户端** Hive的自定义函数UDF* 1:什么是Hive(一): (1)Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进
阅读全文
posted @ 2017-10-18 10:43 别先生
阅读(623)
评论(0)
推荐(0)
编辑
2017年10月16日
一脸懵逼学习Hdfs---动态增加节点和副本数量管理(Hdfs动态扩容)
摘要: 1:按照上篇博客写的,将各个进程都启动起来: 集群规划: 主机名 IP 安装的软件 运行的进程 master 192.168.3.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) slaver1 192.168.3.130 jdk、hadoo
阅读全文
posted @ 2017-10-16 19:09 别先生
阅读(5085)
评论(0)
推荐(0)
编辑
一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)
摘要: 1)集群规划:主机名 IP 安装的软件 运行的进程master 192.168.199.130 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)slaver1 192.168.199.131 jdk、hadoop NameNode、DFSZKFail
阅读全文
posted @ 2017-10-16 16:00 别先生
阅读(4898)
评论(1)
推荐(1)
编辑
2017年10月13日
一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)
摘要: 1:能否让两个NameNode都正常影响客户端请求? 应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。 2:standBy状态的节点必须能够快速无缝的切换为active状态: 意味着两个NameNode必须时刻保持元数据的一致; 3
阅读全文
posted @ 2017-10-13 09:51 别先生
阅读(459)
评论(0)
推荐(0)
编辑
2017年10月12日
一脸懵逼学习Zookeeper(动物园管理员)---》高度可靠的分布式协调服务
摘要: 1:Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,Zookeeper就能正常服务) C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态
阅读全文
posted @ 2017-10-12 09:45 别先生
阅读(1049)
评论(0)
推荐(1)
编辑
一脸懵逼搭建Zookeeper分布式集群
摘要: 1:首先将http://zookeeper.apache.org/ 下载好的zookeeper-3.4.5.tar.gz上传到三台虚拟机上,之前博客搭建好的(安装Zookeeper之前记得安装好你的jdk哦)。 2:然后对zookeeper-3.4.5.tar.gz进行解压缩操作: [hadoop@
阅读全文
posted @ 2017-10-12 09:45 别先生
阅读(16438)
评论(2)
推荐(2)
编辑
2017年10月9日
一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)
摘要: 1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 注意:HADOOP的核心组件有: 1)H
阅读全文
posted @ 2017-10-09 18:49 别先生
阅读(4508)
评论(2)
推荐(2)
编辑
2017年9月25日
一脸懵逼学习Hadoop中的MapReduce程序中自定义分组的实现
摘要: 1:首先搞好实体类对象: write 是把每个对象序列化到输出流,readFields是把输入流字节反序列化,实现WritableComparable,Java值对象的比较:一般需要重写toString(),hashCode(),equals()方法 2:流量分区处理操作的步骤: 2. 1:对流量原
阅读全文
posted @ 2017-09-25 17:40 别先生
阅读(881)
评论(0)
推荐(0)
编辑
2017年9月24日
一脸懵逼学习Struts数据校验以及数据回显,模型驱动,防止表单重复提交的应用。
摘要: 1:Struts2表单数据校验: (1)前台校验,也称之为客户端校验,主要是通过Javascript编程的方式进行数据的验证。 (2)后台校验,也称之为服务器校验,这里指的是使用Struts2通过xml配置的方式进行表单数据的校验。 (3)代码方式验证Action中所有的方法;代码方式验证Actio
阅读全文
posted @ 2017-09-24 17:47 别先生
阅读(495)
评论(0)
推荐(0)
编辑
2017年9月20日
一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序
摘要: 一:序列化概念 序列化(Serialization)是指把结构化对象转化为字节流。反序列化(Deserialization)是序列化的逆过程。即把字节流转回结构化对象。Java序列化(java.io.Serializable) 二:Hadoop序列化的特点 (1):序列化格式特点: 紧凑:高效使用存
阅读全文
posted @ 2017-09-20 09:45 别先生
阅读(1575)
评论(0)
推荐(0)
编辑
2017年9月18日
一脸懵逼学习MapReduce的原理和编程(Map局部处理,Reduce汇总)和MapReduce几种运行方式
摘要: 1:MapReduce的概述: (1):MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. (2):MapReduce由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。 (3):
阅读全文
posted @ 2017-09-18 15:03 别先生
阅读(5565)
评论(1)
推荐(1)
编辑
2017年9月11日
一脸懵逼学习hadoop之HDFS的java客户端编写
摘要: 1:eclipse创建一个项目,然后导入对应的jar包: 鼠标右击项目,点击properties或者alt+enter快捷键 >java build path >libraries >add library >user library >next >user libraries >new >hdfs
阅读全文
posted @ 2017-09-11 18:30 别先生
阅读(533)
评论(0)
推荐(0)
编辑
一脸懵逼加从入门到绝望学习hadoop之 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr报错
摘要: 1:初学hadoop遇到各种错误,这里贴一下,方便以后脑补吧,报错如下: 主要是在window环境下面搞hadoop,而hadoop部署在linux操作系统上面;出现这个错误是权限的问题,操作hadoop是虚拟机的主机用户不是window的主机用户Administrator,所以出现下面的错误,解决
阅读全文
posted @ 2017-09-11 15:17 别先生
阅读(2527)
评论(1)
推荐(0)
编辑
一脸懵逼加从入门到绝望学习hadoop之Caused by: java.net.UnknownHostException: master报错
摘要: windows下开发hadoop应用程序,hadoop部署在linux环境中, 在运行调试时可能会出现无法找到主机,类似异常信息如下: java.net.UnknownHostException: unknown host: master 解决办法如下: 在C:\WINDOWS\system32\d
阅读全文
posted @ 2017-09-11 14:39 别先生
阅读(1503)
评论(0)
推荐(0)
编辑
上一页
1
···
18
19
20
21
22
23
24
25
26
···
30
下一页