06 2018 档案
摘要:Tags: kafka Centos7.5安装kafka集群 Centos7.5安装kafka集群 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装zookeeper 安装kafka kafka基本操作 kafka基本操作 安装管理监控工具Kafka-Manager 主机环境 软
阅读全文
摘要:一.安装前准备 安装采用二进制包方式,软件包8.0.11版本下载地址: https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.11-linux-glibc2.12-x86_64.tar.gz 二.解压安装 1.创建mysql用户 [root@ser
阅读全文
摘要:标题1 标题2 标题3 1 1.1 1.2 2 3 1. 1 1. x 2. y 2. 2 3. 3 引用 斜体 粗体 分割线 表格 | header1 | header2 | | | | | xx | xx | | yy | yy | "百度链接" 插入网络图片 插入本地图片 测试证明博客园对ma
阅读全文
摘要:Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装
阅读全文
摘要:在Hadoop 2.2.0中,YARN框架有很多默认的参数值,如果你是在机器资源比较不足的情况下,需要修改这些默认值,来满足一些任务需要。NodeManager和ResourceManager都是在yarn-site.xml文件中配置的,而运行MapReduce任务时,是在mapred-site.x
阅读全文
摘要:Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS , YARN , HBase , Hive ,
阅读全文
摘要:Hadoop主要版本 目前国内使用的不收费的Hadoop版本主要包括以下3个: Apache hadoop Cloudera的CDH Hortonworks版本(Hortonworks Data Platform,简称“HDP”) 注: Apache hadoop,最原始的版本,所有发行版均基于这个
阅读全文
摘要:Hadoop的起源 Doug Cutting是Hadoop之父 ,起初他开创了一个开源软件Lucene(用Java语言编写,提供了全文检索引擎的架构,与Google类似),Lucene后来面临与Google同样的错误。于是,Doug Cutting学习并模仿Google解决这些问题的办法,产生了一个
阅读全文