随笔 - 597  文章 - 4  评论 - 445  阅读 - 424万
10 2017 档案
一脸懵逼学习Storm---（一个开源的分布式实时计算系统）
摘要：Storm的官方网址：http://storm.apache.org/index.html 1：什么是Storm？ Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC， 阅读全文
posted @ 2017-10-31 16:53 别先生 阅读(1563) 评论(1) 推荐(1) 编辑
一脸懵逼学习HBase的搭建（注意HBase的版本）
摘要：1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本： 注：我使用的是hadoop2.4版本的，所以HBase选择支持2版本的：hbase-0.96.2-hadoop2-bin.tar.gz 2：上传hbase安装包，上传到一台机器即可： 建议：自己规划一下自己的机器，最好是独立的，再 阅读全文
posted @ 2017-10-25 18:04 别先生 阅读(17260) 评论(0) 推荐(1) 编辑
一脸懵逼学习HBase---基于HDFS实现的。（Hadoop的数据库，分布式的，大数据量的，随机的，实时的，非关系型数据库）
摘要：1：HBase官网网址：http://hbase.apache.org/ 2：HBase表结构：建表时，不需要指定表中的字段，只需要指定若干个列族，插入数据时，列族中可以存储任意多个列（即KEY-VALUE，列名称-列值）;一个value可以有多个版本，通过版本号来区分（时间戳） 3：要查询某一个具 阅读全文
posted @ 2017-10-25 15:25 别先生 阅读(2076) 评论(0) 推荐(0) 编辑
一脸懵逼学习Hive的使用以及常用语法（Hive语法即Hql语法）
摘要：Hive官网（HQL）语法手册（英文版）：https://cwiki.apache.org/confluence/display/Hive/LanguageManual Hive的数据存储 1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFil 阅读全文
posted @ 2017-10-20 17:07 别先生 阅读(42799) 评论(2) 推荐(3) 编辑
一脸懵逼学习Hive的元数据库Mysql方式安装配置
摘要：1：要想学习Hive必须将Hadoop启动起来，因为Hive本身没有自己的数据管理功能，全是依赖外部系统，包括分析也是依赖MapReduce； 2：七个节点跑HA集群模式的： 第一步：必须先将Zookeeper启动起来（HA里面好多组件都依赖Zookeeper）： 切换目录，启动Zookeeper（ 阅读全文
posted @ 2017-10-20 11:08 别先生 阅读(8448) 评论(0) 推荐(0) 编辑
一脸懵逼学习Hive的安装（将sql语句翻译成MapReduce程序的一个工具）
摘要：Hive只在一个节点上安装即可： 1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧： 2.解压操作： [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图： 3：解压缩以后启动一下hive： 4：开始操作sql： 阅读全文
posted @ 2017-10-18 17:46 别先生 阅读(1097) 评论(0) 推荐(0) 编辑
一脸懵逼学习Hive（数据仓库基础构架）
摘要：Hive是什么？其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端** Hive的自定义函数UDF* 1：什么是Hive（一）： （1）Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进 阅读全文
posted @ 2017-10-18 10:43 别先生 阅读(632) 评论(0) 推荐(0) 编辑
一脸懵逼学习Hdfs---动态增加节点和副本数量管理（Hdfs动态扩容）
摘要：1：按照上篇博客写的，将各个进程都启动起来： 集群规划： 主机名 IP 安装的软件 运行的进程 master 192.168.3.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) slaver1 192.168.3.130 jdk、hadoo 阅读全文
posted @ 2017-10-16 19:09 别先生 阅读(5122) 评论(0) 推荐(0) 编辑
一脸懵逼学习Hadoop分布式集群HA模式部署（七台机器跑集群）
摘要：1）集群规划：主机名 IP 安装的软件 运行的进程master 192.168.199.130 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)slaver1 192.168.199.131 jdk、hadoop NameNode、DFSZKFail 阅读全文
posted @ 2017-10-16 16:00 别先生 阅读(4929) 评论(1) 推荐(1) 编辑
一脸懵逼学习Hadoop-HA机制（以及HA机制的配置文件，测试）
摘要：1：能否让两个NameNode都正常影响客户端请求？ 应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求，相应请求的必须为Active状态的那一台。 2：standBy状态的节点必须能够快速无缝的切换为active状态： 意味着两个NameNode必须时刻保持元数据的一致； 3 阅读全文
posted @ 2017-10-13 09:51 别先生 阅读(469) 评论(0) 推荐(0) 编辑
一脸懵逼学习Zookeeper（动物园管理员）---》高度可靠的分布式协调服务
摘要：1：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，Zookeeper就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态 阅读全文
posted @ 2017-10-12 09:45 别先生 阅读(1066) 评论(0) 推荐(1) 编辑
一脸懵逼搭建Zookeeper分布式集群
摘要：1：首先将http://zookeeper.apache.org/ 下载好的zookeeper-3.4.5.tar.gz上传到三台虚拟机上，之前博客搭建好的（安装Zookeeper之前记得安装好你的jdk哦）。 2：然后对zookeeper-3.4.5.tar.gz进行解压缩操作： [hadoop@ 阅读全文
posted @ 2017-10-12 09:45 别先生 阅读(16459) 评论(2) 推荐(2) 编辑
一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）
摘要：1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 注意：HADOOP的核心组件有： 1）H 阅读全文
posted @ 2017-10-09 18:49 别先生 阅读(4536) 评论(2) 推荐(2) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 别先生
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示