[大数据学习研究] 4. Zookeeper-分布式服务的协同管理神器
摘要：本来这一节想写Hadoop的分布式高可用环境的搭建，写到一半，发现还是有必要先介绍一下ZooKeeper这个东西。 ZooKeeper理念介绍 ZooKeeper是为分布式应用来提供协同服务的，而且ZooKeeper本身也是分布式的，由分布在至少三台机器上，这几台机器形成一个Quorum，就像一个剧
阅读全文
posted @
2019-09-19 16:41
峻祁连
阅读(877)
推荐(0) 编辑
用OSS给阿里云ECS扩展硬盘容量
摘要：阿里云的虚拟机ECS在创建时可以指定一个云盘，但在使用过程中，随着时间推移数据越来越多，难免硬盘就不够用了。当然你可以在另外加个云盘，不过总还有用完的时候，而且价格也不便宜。今天给大家介绍一个方法，给阿里云ECS增加OSS作为硬盘，让你立即享受无限量超级大硬盘，哈哈 ## 为什么用OSS做外接硬盘，
阅读全文
posted @
2019-09-18 14:40
峻祁连
阅读(2211)
推荐(0) 编辑
[大数据学习研究] 3. hadoop分布式环境搭建
摘要：1. Java安装与环境配置 Hadoop是基于Java的，所以首先需要安装配置好java环境。从官网下载JDK，我用的是1.8版本。 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中。 其实我在Mac上装了一个神器-Forklift。 可以通过SFTP的方式连接到远程linux。然
阅读全文
posted @
2019-09-17 11:17
峻祁连
阅读(786)
推荐(0) 编辑
[大数据学习研究]2.利用VirtualBox模拟Linux集群
摘要：1. 在主机Macbook上设置HOST 前文书已经把虚拟机的静态IP地址设置好，以后可以通过ip地址登录了。不过为了方便，还是设置一下，首先在Mac下修改hosts文件，这样在ssh时就不用输入ip地址了。 sudo vim /etc/hosts 或者 sudo vim /private/etc/
阅读全文
posted @
2019-09-16 10:00
峻祁连
阅读(1056)
推荐(0) 编辑
[大数据学习研究]1.在Mac上利用VirtualBox搭建本地虚拟机环境
摘要：1. 大数据和Hadoop 研究学习大数据，自然要从Hadoop开始。 Hadoop不是一个简单的软件，而是有一些列软件形成的生态，其核心思想来自Google当初发布的三篇论文，后来做了开源的实现， 谷歌的实现和Hadoop的实现大致可以做这样的对应： Google Map/Reduce < > H
阅读全文
posted @
2019-09-15 19:52
峻祁连
阅读(1420)
推荐(1) 编辑
