10 2017 档案
摘要：不多说，直接上干货！ 上一章讨论了paxos算法，把paxos推到一个很高的位置。 Zookeeper概念学习系列之paxos协议 但是，paxos有没有什么问题呢？实际上，paxos还是有其自身的缺点的。 1. 活锁问题。在base-paxos算法中，不存在leader这样的角色，于是存在这样一种
阅读全文
摘要：不多说，直接上干货！ 前言 一种最终一致的算法，paxos算法。 paxos算法是由大牛lamport发明的，关于paxos算法有很多趣事。比如lamport论文最初由故事描述来引入算法，以至于那班习惯数学公式的评委将该论文打回，导致该论文延误了8年才公开发表。另外，google的chubby的作者
阅读全文
摘要：不多说，直接上干货！ 初学者来说，肯定会有这么一个疑问。为什么会在zookeeper里牵扯到分布式事务？ zookeeper到底是什么？ zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系
阅读全文
摘要：不多说，直接上干货！ 很多人搞不清输入流和输出流，！！、！ 其实啊，输入流、输出流都是针对内存的。 往内存里写，是输入流。 内存往文件里写，是输出流。 比如一个文件A复制到另一文件B，那么，先写到内存里，再写到文件B。 => 则文件A写到内存里，叫输入流。 => 则内存里写到文件B，叫输出流。 对象
阅读全文
摘要：不多说，直接上干货！ docs/hdfs-default.html这里是hdfs参数的含义。其中可见 dfs.replication.min最小副本数 dfs.safemode.threshold.pct阈值比例 Specifies the percentage of blocks that sho
阅读全文
摘要：不多说，直接上干货！ hadoop fs： 使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs ： 只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow： Following a
阅读全文
摘要：不多说，直接上干货！ 问题现象 当执行创建文件的的时候， 即： 报错： 问题原因 1. 当前用户是Administrator ,不是hadoop用户 2. hadoop的默认的hdfs的文件目录是有权限的，要创建位置是目录是用文件权限的 说明 ： 上面的String IR_PATH_1 = "hdf
阅读全文
摘要：不多说，直接上干货！ hadoop的分块有两部分。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。 这个就是默认的每个块64MB。数据划
阅读全文
摘要：不多说，直接上干货！ 一、简介 eclipse可谓是Java开发界的神器，基本占据了大部分的Java开发市场，而且其官方还对其他语言提供支持，如C++，Ruby，JavaScript等等。为什么使用它？我想离不开下面的一些因素：1、开发界面简洁、大方。2、丰富的插件支持。3、为Java量身定做。4、
阅读全文
摘要：不多说，直接上干货！ 如有这样的一条数据进来： 美团 3-5年经验 15-30k 北京 hadoop高级工程 Pattern.compile("[^0-9]").matcher(salary)Pattern.compile("[^0-9]").matcher(salary).replaceAll("
阅读全文
摘要：不多说，直接上干货！ 这个时候我们可以进入logs下的userlogs 备注：userlogs目录下有很多个以往运行的作业，我选择最新的最大编号的作业，就是我们当前运行作业的日志。然后找到stderr stdout syslog文件，stderr为作业错误日志，stdout作业输出日志，syslog
阅读全文
摘要：不多说，直接上干货！ 我这里，以hadoop-2.6.0为例。 hadoop-n.x.y.tar.gz.mds，此mds文件是为了检验在下载和移动文件过程中文件的完整性。 通过验证文件的md5值去检验文件的完整性： $ cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD
阅读全文
摘要：不多说，直接上干货！ 我这里，以hadoop-2.6.0为例。 hadoop-n.x.y.tar.gz.mds，此mds文件是为了检验在下载和移动文件过程中文件的完整性。 通过验证文件的md5值去检验文件的完整性： $ cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD
阅读全文
摘要：不多说，直接上干货！ 首先来说一个非常形象的例子，来说明下数组和链表。 上体育课的时候，老师说：你们站一队，每个人记住自己是第几个，我喊到几，那个人就举手，这就是数组。 老师说，你们每个人记住自己前面的人和后面的人，然后老师只知道第一人是谁。 然后你们各自由活动，老师要找某一个人，是不是每次都是从第
阅读全文
摘要：不多说，直接上干货！ HashMap 和 HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是coll
阅读全文
摘要：不多说，直接上干货！ 这篇我是从整体出发去写的。 牛客网Java刷题知识点之Java 集合框架的构成、集合框架中的迭代器Iterator、集合框架中的集合接口Collection（List和Set）、集合框架中的Map集合 牛客网Java刷题知识点之Map的两种取值方式keySet和entrySet
阅读全文
摘要：不多说，直接上干货！ 这篇我是从整体出发去写的。 牛客网Java刷题知识点之Java 集合框架的构成、集合框架中的迭代器Iterator、集合框架中的集合接口Collection（List和Set）、集合框架中的Map集合 接口java.util.Map，包括3个实现类：HashMap、Hashta
阅读全文
摘要：不多说，直接上干货！ 这篇我是从整体出发去写的。 牛客网Java刷题知识点之Java 集合框架的构成、集合框架中的迭代器Iterator、集合框架中的集合接口Collection（List和Set）、集合框架中的Map集合 List集合中子类 Vector、ArrayList、LinkedList
阅读全文
摘要：不多说，直接上干货！ 首先，大家要搞清楚，java里的内存是怎么分配的。详细见 牛客网Java刷题知识点之内存的划分（寄存器、本地方法区、方法区、栈内存和堆内存） 哪些内存需要回收 其实，一般是对堆内存而言的。 垃圾回收算法过程 在Java语言中，GC（Garbage Collection）是一个非
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege H
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege O
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 内
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 什
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 首
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 不多说，直接上干货！ T
阅读全文
