11 2018 档案
摘要：kafka是一个开源的分布式消息订阅系统（消息中间件） 安装过程 1.下载kafka_2.11-0.10.1.0.gz（ps:千万不要下错了，博主就是下到了src文件上去了，kafka中的zookeeper起不起来） 2.上传至/usr/local/src 3.解压缩，并且移动到上级目录 4.进入主
阅读全文
摘要：Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具， 他可以将关系型数据库（MySql,Oracle,Postgres等）中的数据导入Hadoop的HDFS中， 也可以将HDFS的数据导入关系型数据库中。 前期准备： 1.Sqoop需要安装在成功部署的Hadoop平台上，并且要
阅读全文
摘要：hadoop集群的搭建 搭建真正的zookeeper集群 Hbase需要安装在成功部署的Hadoop平台，并且要求Hadoop已经正常启动。 同时，HBase需要集群部署，我们分别把HBase 部署到主机：guoyansi128 guoyansi129 guoyansi130 1.下载hbase-1
阅读全文
摘要：搭建zookeeper伪分布式集群 zookeeper是Hadop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调服务， 提供的功能包括配置维护，域名服务，分布式同步和组服务。 zookeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定
阅读全文
摘要：hive是什么：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能(HQL) hive有什么用 1.通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析 2.可以用来进行
阅读全文
摘要：继续上一篇博文：hadoop集群的搭建 1.将linux节点上的hadoop安装包从linux上下载下来（你也可以从网上直接下载压缩包，解压后放到自己电脑上） 我的地址是： 2.配置环境变量： HADOOP_HOME D:\hadoop-2.6.5 Path中添加：%HADOOP_HOME%\bin
阅读全文
摘要：第一句：关闭防火墙，关闭防火墙，关闭所有节点的防火墙 1.安装虚拟机 2.虚拟机上安装centos7作为hadoop的主节点 1）修改主机名 清空里里面的内容;然后填写master 2）修改hosts 内容如下： 3.克隆出两个centos7作为hadoop的slave 1）分别修改主机名 清空里里
阅读全文
摘要：集群从功能实现上分高可用和负载均衡： 高可用集群，即“HA"集群，也常称作“双机热备”。 当提供服务的机器宕机，备胎将接替继续提供服务； 实现高可用的开源软件有：heartbeat、keepalived。，keepalived还有负载均衡的功能。 核心原理都是通过心跳线连接两台服务器，一台用于提供服
阅读全文
