xiaolaotou

2019年3月6日

摘要： public class Test { private static Configuration conf; private static FileSystem fs; //开启kerberos认证 static { System.setProperty("java.security.krb5.co 阅读全文

posted @ 2019-03-06 15:55 xiaolaotou 阅读(2834) 评论(1) 推荐(0) 编辑

HashMap和Hashtable的区别

摘要： 1、线程安全两者最主要的区别在于Hashtable是线程安全，而HashMap则非线程安全 HashTable的实现方法里面都添加了synchronized关键字来确保线程同步，因此相对而言HashMap性能会高一些，我们平时使用时若无特殊需求建议使用HashMap,在多线程环境下若使用HashM 阅读全文

posted @ 2019-03-06 14:21 xiaolaotou 阅读(173) 评论(0) 推荐(0) 编辑

hadoop运行原理之shuffle

摘要： hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所代表的就是shuff 阅读全文

posted @ 2019-03-06 11:09 xiaolaotou 阅读(653) 评论(0) 推荐(0) 编辑

hadoop相关面试题3

该文被密码保护。阅读全文

posted @ 2019-03-06 11:06 xiaolaotou 阅读(2) 评论(0) 推荐(0) 编辑

hadoop相关面试题2

该文被密码保护。阅读全文

posted @ 2019-03-06 10:45 xiaolaotou 阅读(4) 评论(0) 推荐(0) 编辑

hadoop相关面试题

该文被密码保护。阅读全文

posted @ 2019-03-06 10:33 xiaolaotou 阅读(3) 评论(0) 推荐(0) 编辑

2019年3月5日

Elasticsearch节点下线（退役）and unassigned shards

摘要：一、节点退役当集群中个别节点出现故障预警等情况，需要进行退役工作，即让所有位于该退役节点上的分片的数据分配到其他节点上后，再将此节点关闭并从集群中移除。 1、ES提供了让某个节点上所有数据都移走的功能如下： ElasticSearch集群就会自动把这个节点上的所有分片，都自动转移到其他节点上，等到转阅读全文

posted @ 2019-03-05 15:38 xiaolaotou 阅读(5042) 评论(0) 推荐(0) 编辑

详解Hbase架构原理

摘要：一、Hbase概念 Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的PC Server上搭建大规模结构化存储集群。 Hbase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，Hbase利用Ha 阅读全文

posted @ 2019-03-05 14:56 xiaolaotou 阅读(565) 评论(0) 推荐(0) 编辑

docker安装（yum方式）

摘要： 1、更新现有的yum 包：sudo yum update 2、添加Docker源： 2.1首先创建docker.repo: 3、使用yum命令安装docker 4、启动docker服务 5、确认docker是否安装成功阅读全文

posted @ 2019-03-05 11:53 xiaolaotou 阅读(470) 评论(0) 推荐(0) 编辑

spark相关面试题

该文被密码保护。阅读全文

posted @ 2019-03-05 11:47 xiaolaotou 阅读(2) 评论(0) 推荐(0) 编辑

公告