随笔分类 - bigdata
摘要：目录 1.hadoop概述 2.目前数据集主要特点 3.传统数据 VS 大数据 4.并行关系数据库 VS MPPorHadoop 5.Hadoop的子项目 6.谁在使用hadoop？ 1.hadoop概述 Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架主要组成（两大核心设计）：分布式文
阅读全文
摘要：hadoop搭建伪分布式集群（centos7+hadoop-3.1.0/2.7.7） HDFS介绍及简单操作 执行hadoop自带的WordCount实例 HIVE的安装 HIVE简单操作 HBase介绍 HBase单机模式安装 zookeeper介绍 zookeeper三种模式安装详解（cento
阅读全文
摘要：1.eclipse运行消费者代码。代码如下 1 package cn.test.mykafka; 2 3 import java.util.Arrays; 4 import java.util.Properties; 5 6 import org.apache.kafka.clients.consu
阅读全文
摘要：1.生产者：在发送完消息后，收到回执确认。 主要是在SimpleProducer.java中修改了发送消息的2行代码，用到了回调函数，修改如下： 完整代码如下： 1 package cn.test.mykafka; 2 3 import java.util.Properties; 4 5 impor
阅读全文
摘要：一 客户端 在上一篇博客创建的简单生产者的基础上，进行两个修改操作： 1.新建SimplePartitioner.java，修改返回分区为1。 SimplePartitioner.java代码如下 2.复制SimpleProducer.java为PartitionerProducer.java，修改
阅读全文
摘要：一 客户端 1.打开eclipse，新建maven项目（new-->other-->Maven Project-->Artifact Id设为mykafka）。 2.配置Build Path。 右击项目名mykafka-->Build Path-->Configure Buiid Path-->把原
阅读全文
摘要：概述 每个分区有n个副本，可以承受n-1个节点故障。 每个副本都有自己的leader，其余都是follower。 zk中存放分区的leader和 follower replica的信息。（get /brokers/topics/mytest2/partitions/0/state） 每个副本存储消息
阅读全文
摘要：kafka是JMS的一种实现 JMS（java message service）：middle ware，中间件技术。Queue:队列模式，P2P，点对点。publish-subscribe:主题模式，发布订阅模式。 消息中间件具体了解点这里。 kafka--分布式流计算平台 类似于消息系统发布订阅
阅读全文
摘要：一 kafka本地目录结构 搭建单节点多broker的kafka后，启动zk和kafka。 创建kafka集群时我已经创建了一个主题test02,现在我们再创建一个主题mytest（2个分区） 查看日志目录可以发现，3个日志目录几乎是一致的（__consumer_offsets-0是个什么鬼？） t
阅读全文
摘要：一 搭建单节点单broker的kafka集群 注意：请打开不同的终端分别执行以下步骤 1.复制安装包到/usr/local目录下，解压缩，重命名（或者软链接），配置环境变量 2.启动服务器 启动zookeeper 启动kafka 3.创建topic 可以通过zk的客户端观察zk的数据结构 [root
阅读全文
摘要：hadoop 自带的WordCount实例可以统计一批文本文件中各单词出现的次数。下面介绍如何执行WordCount实例。 1.启动hadoop 2.在本地新建目录及2个文件 3.将本地文件系统上的input目录复制到HDFS根目录下，重命名为in 4.执行以下命令 [root@hadoop ~]#
阅读全文
摘要：1.hive命令登录HIVE数据库后，执行show databases;命令可以看到hive数据库中有一个默认的default数据库。 [root@hadoop hive]# hive Logging initialized using configuration in file:/usr/loca
阅读全文
摘要：第一部分 安装前准备 环境：workstation11 + centos 7 + hadoop-2.7.7 + mysql 5.6.40 + hive 2.3.3 首先安装mysql，步骤看这里。 接着安装HIVE。 第二部分 正式安装HIVE 1.开启hadoop集群，并关闭hadoop的安全模式
阅读全文
摘要：目录 1.什么是HBase？ 2.HBase的优点 3.HBASE与传统数据库对比 ps: 行级数据库 vs 列式数据库 4.HBase角色 5.HBase与zookeeper的关系 1.什么是HBase？ HBase是一个高可用、高性能、可伸缩的列式分布式存储系统。说白了，HBase就是一种在HD
阅读全文
摘要：第一部分 安装前准备 1.安装hadoop 今天刚刚学了hbase的一点基础，准备安装Hbase实际操练一下。因为安装hbase的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。于是去官网查询了一下我安装的hadoop-3.1.0（目前是最新版）对应支持的hb
阅读全文
摘要：目录 1.HDFS是什么？ 2.HDFS设计基础与目标 3.HDFS体系结构 3.1 NameNode（NN）3.2 DataNode（DN）3.3 SecondaryNameNode（SNN）3.4 块（Block）的概念3.5 文件安全 3.读取数据流程 4.HDFS的可靠性 4.1 冗余副本策
阅读全文
摘要：zookeeper有单机、伪集群、集群三种部署方式，可根据自己实际情况选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一 单机模式 1.下载 进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/注意：点
阅读全文
摘要：目录 1.zookeeper概述2.什么是zookeeper？3.为什么使用zookeeper？4.zookeeper的特性5.事务Transaction的ACID特性6.zookeeper的应用场景主要是?7.zookeeper的角色与系统模型8.leader角色与leader选举机制9.二阶提交
阅读全文
摘要：目录： Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境 第二部分 Hadoo
阅读全文
