[大数据学习研究] 错误排查，Hadoop集群部分DataNode不能启动
摘要：错误现象 不知道什么原因，今天发现我的hadoop集群启动后datanode只有一台了，我的集群本来有三台的，怎么只剩一台了呢？ 用jps命令检查一下，发现果然有两台机器的DataNode没有启动。 可能原因： 1. 我之前遇到过的问题，由于多次运行hdfs namenode -format, 造成
阅读全文
posted @
2019-10-15 00:15
峻祁连
阅读(2823)
推荐(0) 编辑
IDEA 环境下更改Maven的仓库镜像提高下载速度
摘要：Maven把所有常用的jar包存放在一个集中的仓库（repository）中，项目需要什么jar包和他相关的依赖，只要在pom.xml文件中声明就可了，还是很方便的。repository分两种，一个是本地的repository，在自己的机器上，在本机上创建的项目会从本地的repository里找ja
阅读全文
posted @
2019-10-12 22:04
峻祁连
阅读(3538)
推荐(0) 编辑
[大数据学习研究] 4. Zookeeper-分布式服务的协同管理神器
摘要：本来这一节想写Hadoop的分布式高可用环境的搭建，写到一半，发现还是有必要先介绍一下ZooKeeper这个东西。 ZooKeeper理念介绍 ZooKeeper是为分布式应用来提供协同服务的，而且ZooKeeper本身也是分布式的，由分布在至少三台机器上，这几台机器形成一个Quorum，就像一个剧
阅读全文
posted @
2019-09-19 16:41
峻祁连
阅读(877)
推荐(0) 编辑
[大数据学习研究] 3. hadoop分布式环境搭建
摘要：1. Java安装与环境配置 Hadoop是基于Java的，所以首先需要安装配置好java环境。从官网下载JDK，我用的是1.8版本。 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中。 其实我在Mac上装了一个神器-Forklift。 可以通过SFTP的方式连接到远程linux。然
阅读全文
posted @
2019-09-17 11:17
峻祁连
阅读(786)
推荐(0) 编辑
[大数据学习研究]2.利用VirtualBox模拟Linux集群
摘要：1. 在主机Macbook上设置HOST 前文书已经把虚拟机的静态IP地址设置好，以后可以通过ip地址登录了。不过为了方便，还是设置一下，首先在Mac下修改hosts文件，这样在ssh时就不用输入ip地址了。 sudo vim /etc/hosts 或者 sudo vim /private/etc/
阅读全文
posted @
2019-09-16 10:00
峻祁连
阅读(1056)
推荐(0) 编辑
