摘要:
一 kafka本地目录结构 搭建单节点多broker的kafka后,启动zk和kafka。 创建kafka集群时我已经创建了一个主题test02,现在我们再创建一个主题mytest(2个分区) 查看日志目录可以发现,3个日志目录几乎是一致的(__consumer_offsets-0是个什么鬼?) t 阅读全文
摘要:
一 搭建单节点单broker的kafka集群 注意:请打开不同的终端分别执行以下步骤 1.复制安装包到/usr/local目录下,解压缩,重命名(或者软链接),配置环境变量 2.启动服务器 启动zookeeper 启动kafka 3.创建topic 可以通过zk的客户端观察zk的数据结构 [root 阅读全文
摘要:
hadoop 自带的WordCount实例可以统计一批文本文件中各单词出现的次数。下面介绍如何执行WordCount实例。 1.启动hadoop 2.在本地新建目录及2个文件 3.将本地文件系统上的input目录复制到HDFS根目录下,重命名为in 4.执行以下命令 [root@hadoop ~]# 阅读全文
摘要:
需求: 1、查 输入:www.oldboy.org 获取当前backend下的所有记录 2、新建 输入: arg = { 'bakend': 'www.oldboy.org', 'record':{ 'server': '100.1.7.9', 'weight': 20, 'maxconn': 30 阅读全文
摘要:
目录 Python3学习之路~2.1 列表、元组操作 Python3学习之路~2.2 简单的购物车程序 Python3学习之路~2.3 字符串操作 Python3学习之路~2.4 字典操作 Python3学习之路~2.5 简单的三级菜单程序 Python3学习之路~2.6 集合操作 Python3学 阅读全文
摘要:
1.hive命令登录HIVE数据库后,执行show databases;命令可以看到hive数据库中有一个默认的default数据库。 [root@hadoop hive]# hive Logging initialized using configuration in file:/usr/loca 阅读全文
摘要:
第一部分 安装前准备 环境:workstation11 + centos 7 + hadoop-2.7.7 + mysql 5.6.40 + hive 2.3.3 首先安装mysql,步骤看这里。 接着安装HIVE。 第二部分 正式安装HIVE 1.开启hadoop集群,并关闭hadoop的安全模式 阅读全文
摘要:
前提: 环境:workstation 11 + CentOS 7 + mysql-5.6.40 安装前先查看服务器里是否有老版本的mysql已经被安装了 如果有就删除掉旧版本的mysql即可 正式安装: 1.上传安装包到/usr/local/目录下,解压缩,重命名,配置环境变量 2.创建目录,添加用 阅读全文
摘要:
目录 1.什么是HBase? 2.HBase的优点 3.HBASE与传统数据库对比 ps: 行级数据库 vs 列式数据库 4.HBase角色 5.HBase与zookeeper的关系 1.什么是HBase? HBase是一个高可用、高性能、可伸缩的列式分布式存储系统。说白了,HBase就是一种在HD 阅读全文
摘要:
第一部分 安装前准备 1.安装hadoop 今天刚刚学了hbase的一点基础,准备安装Hbase实际操练一下。因为安装hbase的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。于是去官网查询了一下我安装的hadoop-3.1.0(目前是最新版)对应支持的hb 阅读全文