摘要：
前言 最近，是在做集群搬移工作，大家肯定会遇到如下的场景。 （1） 比如，你新购买的电脑，初步者学习使用Ambari集群。从旧电脑复制到新电脑这边来。 （2） 比如，你公司Ambari集群的ip，因业务或其他情况需要，暂时需要更改ip。 （3） 比如，你更改了主机名。 （4）也许其他的原因。 扩展 阅读全文
摘要：
不多说，直接上干货！ 首先谈及这款软件，博主我用的理由：搞机器学习和深度学习！ 想学习Python的同学们，在这里隆重介绍一款 Python 的开发工具 pyCharm IDE。这是我最喜欢的 Python编辑器利器。而且还是跨平台的，在MAC OS和Windows下面都能安装。接下来就和大家分享下 阅读全文
摘要：
不多说，直接上干货！ 这是在设置IntelliJ IDEA 代码字体的快捷键设置缩小： 怎么达到的了，就是ctrl + 你的鼠标滑扭往下 这是在设置IntelliJ IDEA 代码字体的快捷键设置放大： 怎么达到的了，就是ctrl + 你的鼠标滑扭往上 成功！ 欢迎大家，加入我的微信公众号：大数据躺 阅读全文
摘要：
不多说，直接上干货！ 上一章讨论了paxos算法，把paxos推到一个很高的位置。 Zookeeper概念学习系列之paxos协议 但是，paxos有没有什么问题呢？实际上，paxos还是有其自身的缺点的。 1. 活锁问题。在base-paxos算法中，不存在leader这样的角色，于是存在这样一种 阅读全文
摘要：
不多说，直接上干货！ 前言 一种最终一致的算法，paxos算法。 paxos算法是由大牛lamport发明的，关于paxos算法有很多趣事。比如lamport论文最初由故事描述来引入算法，以至于那班习惯数学公式的评委将该论文打回，导致该论文延误了8年才公开发表。另外，google的chubby的作者 阅读全文
摘要：
不多说，直接上干货！ 初学者来说，肯定会有这么一个疑问。为什么会在zookeeper里牵扯到分布式事务？ zookeeper到底是什么？ zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系 阅读全文
摘要：
不多说，直接上干货！ 很多人搞不清输入流和输出流，！！、！ 其实啊，输入流、输出流都是针对内存的。 往内存里写，是输入流。 内存往文件里写，是输出流。 比如一个文件A复制到另一文件B，那么，先写到内存里，再写到文件B。 => 则文件A写到内存里，叫输入流。 => 则内存里写到文件B，叫输出流。 对象 阅读全文
摘要：
不多说，直接上干货！ docs/hdfs-default.html这里是hdfs参数的含义。其中可见 dfs.replication.min最小副本数 dfs.safemode.threshold.pct阈值比例 Specifies the percentage of blocks that sho 阅读全文
摘要：
不多说，直接上干货！ hadoop fs： 使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs ： 只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow： Following a 阅读全文
摘要：
不多说，直接上干货！ 问题现象 当执行创建文件的的时候， 即： 报错： 问题原因 1. 当前用户是Administrator ,不是hadoop用户 2. hadoop的默认的hdfs的文件目录是有权限的，要创建位置是目录是用文件权限的 说明 ： 上面的String IR_PATH_1 = "hdf 阅读全文