XGogo - 博客园

2016年12月27日

摘要：转：http://coolshell.cn/articles/10910.html 当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题： 1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们阅读全文

posted @ 2016-12-27 22:24 XGogo 阅读(395) 评论(0) 推荐(0) 编辑

图解zookeeper FastLeader选举算法【转】

摘要：转自：http://codemacro.com/2014/10/19/zk-fastleaderelection/ zookeeper配置为集群模式时，在启动或异常情况时会选举出一个实例作为Leader。其默认选举算法为FastLeaderElection。不知道zookeeper的可以考虑这样一阅读全文

posted @ 2016-12-27 22:01 XGogo 阅读(1479) 评论(0) 推荐(0) 编辑

ZooKeeper学习之文件系统的布局和格式

摘要：本文来谈谈快照文件，事务日志文件在文件系统中是如何存放的。写事务日志是事务处理的关键步骤，所以高度建议在一个独立的磁盘上存储。快照不需要在独立的磁盘存储，因为它们是由一个后台线程以懒汉式的(lazily)方式产生的。存储快照的路径是由DataDir参数指定的，事务日志的路径则是由DataLogD 阅读全文

posted @ 2016-12-27 20:12 XGogo 阅读(1062) 评论(0) 推荐(0) 编辑

ZOOKEEPER解惑[转]

摘要：今年年初的时候，写了一篇ZooKeeper的入门文章《初识ZooKeeper》，一直到这一周，才有时间将ZooKeeper整个源码通读了一遍。不能说完全理解了ZooKeeper的工作原理与细节，但是之前心中一直关于ZooKeeper的疑问都得到了解释。现在网上关于ZooKeeper的文章很多，有介阅读全文

posted @ 2016-12-27 16:03 XGogo 阅读(583) 评论(0) 推荐(0) 编辑

2016年12月16日

java8新特性（六）：Stream多线程并行数据处理

摘要：转：http://blog.csdn.net/sunjin9418/article/details/53143588 将一个顺序执行的流转变成一个并发的流只要调用 parallel()方法 public static long parallelSum(long n){ return Stream.i 阅读全文

posted @ 2016-12-16 19:54 XGogo 阅读(31480) 评论(0) 推荐(1) 编辑

Java8初体验（二）Stream语法详解

摘要：感谢同事【天锦】的投稿。投稿请联系 tengfei@ifeve.com上篇文章Java8初体验（一）lambda表达式语法比较详细的介绍了lambda表达式的方方面面，细心的读者会发现那篇文章的例子中有很多Stream的例子。这些Stream的例子可能让你产生疑惑，本文将会详细讲解Stream的使用阅读全文

posted @ 2016-12-16 17:58 XGogo 阅读(770) 评论(0) 推荐(1) 编辑

java8的新特性以及用法简介

摘要： 1. 介绍 2 接口的默认方法 2 lambda表达式 2.1 函数式接口 2.2 方法与构造函数引用 2.3 访问局部变量 2.4 访问对象字段与静态变量 3. 内建函数式接口 3.1 Predicate接口 3.2 Function 接口 3.3 Supplier 接口 3.4 Consumer 阅读全文

posted @ 2016-12-16 17:22 XGogo 阅读(7433) 评论(0) 推荐(0) 编辑

HDFS之SequenceFile和MapFile

摘要： Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器，将这些小文件组织起来统一存储。HDFS提供了两种类阅读全文

posted @ 2016-12-16 16:51 XGogo 阅读(2034) 评论(0) 推荐(0) 编辑

深入分析Parquet列式存储格式【转】

摘要： Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。列式存储列式存储和行式存储相比有哪些优势呢？当时Twitter的日增数据量达到压缩之后的100TB+，存储在HD 阅读全文

posted @ 2016-12-16 16:43 XGogo 阅读(1450) 评论(0) 推荐(0) 编辑

Flume中的HDFS Sink配置参数说明【转】

摘要：转：http://lxw1234.com/archives/2015/10/527.htm 关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type hdfs path 写入hdfs的路阅读全文

posted @ 2016-12-16 14:57 XGogo 阅读(750) 评论(0) 推荐(0) 编辑

尧字节

明翼

公告