随笔分类 -  hadoop与spark

摘要:本文记录参考 http://dblab.xmu.edu.cn/blog/2775-2/ 搭建hadoop分布式集群的过程 前置 已在一台虚拟机配置好了伪分布式hadoop系统 一台虚拟机作为master作为namenode,三台虚拟机data1、2、3(均安装了ubuntu系统)作为datanode 阅读全文
posted @ 2021-10-05 11:41 Smartog 阅读(653) 评论(0) 推荐(0)
摘要:配置完伪分布式虚拟机后,可以继续配置hadoop集群。配置伪分布式hadoop可以参考:http://dblab.xmu.edu.cn/blog/2441-2/ 教程里也有配置集群,但是是用物理机配置的,我们这里还是选择用虚拟机配置。 规划 一台主要计算机master,在HDFS担任NameNode 阅读全文
posted @ 2021-10-05 10:59 Smartog 阅读(445) 评论(0) 推荐(0)
摘要:VirtualBox安装ubuntu虚拟机步骤记录 之前自己在做实验的时候安装过好多次虚拟机,每次都没有记录,今天把安装的步骤记录一下,免得以后忘了再去乱找教程。 1. 下载虚拟机软件和ubuntu镜像 VirtualBox下载地址: https://download.virtualbox.org/ 阅读全文
posted @ 2021-10-02 17:33 Smartog 阅读(389) 评论(0) 推荐(0)