随笔分类 -  hadoop

hadoop搭建和使用
七、Hadoop搭建Hbase
摘要：一、安装Hbase 安装Hbase需要安装Zookeeper 1.1 下载解压Hbase 1.2 配置环境变量 二、配置Hbase 2.1 修改hbase env.sh 进入到hbase配置环境中 cd conf/ 2.2 修改regionservers（目录在conf下） 2.3 修改hbase 阅读全文
posted @ 2020-04-29 11:20 hziwei 阅读(283) 评论(0) 推荐(0) 编辑
六、Zookeeper运行环境
摘要：一、安装zookeeper 1.1 下载解压zookeeper 1.2配置zoo.cfg,进入到conf目录下 1.3 在另外两台上做同样的配置 1.4 Zookeeper 的data/myid配置，使用如下命令，server.1中的数字1为服务器的ID，需要与myid文件中的id一致，下一步将配置 阅读全文
posted @ 2020-04-29 11:19 hziwei 阅读(242) 评论(0) 推荐(0) 编辑
五、Hadoop搭建Hive
摘要：一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 阅读全文
posted @ 2020-04-29 10:12 hziwei 阅读(231) 评论(0) 推荐(0) 编辑
四、Hadoop搭建Spark
摘要：一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co 阅读全文
posted @ 2020-04-28 19:54 hziwei 阅读(403) 评论(0) 推荐(0) 编辑
三、Hadoop分布式搭建
摘要：一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux 阅读全文
posted @ 2020-04-28 11:51 hziwei 阅读(287) 评论(0) 推荐(0) 编辑
二、Hadoop搭建
摘要：一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux 阅读全文
posted @ 2020-04-27 20:28 hziwei 阅读(268) 评论(0) 推荐(0) 编辑
一、hadoop基本介绍
摘要：1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 阅读全文
posted @ 2020-04-27 11:58 hziwei 阅读(336) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示