上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 23 下一页
摘要: 转:http://coolshell.cn/articles/10910.html 当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。 于是我们 阅读全文
posted @ 2016-12-27 22:24 XGogo 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 转自:http://codemacro.com/2014/10/19/zk-fastleaderelection/ zookeeper配置为集群模式时,在启动或异常情况时会选举出一个实例作为Leader。其默认选举算法为FastLeaderElection。 不知道zookeeper的可以考虑这样一 阅读全文
posted @ 2016-12-27 22:01 XGogo 阅读(1486) 评论(0) 推荐(0) 编辑
摘要: 本文来谈谈快照文件,事务日志文件在文件系统中是如何存放的。 写事务日志是事务处理的关键步骤,所以高度建议在一个独立的磁盘上存储。快照不需要在独立的磁盘存储,因为它们是由一个后台线程以懒汉式的(lazily)方式产生的。 存储快照的路径是由DataDir参数指定的,事务日志的路径则是由DataLogD 阅读全文
posted @ 2016-12-27 20:12 XGogo 阅读(1078) 评论(0) 推荐(0) 编辑
摘要: 今年年初的时候,写了一篇ZooKeeper的入门文章《初识ZooKeeper》,一直到这一周,才有时间将ZooKeeper整个源码通读了一遍。不能说完全理解了ZooKeeper的工作原理与细节,但是之前心中一直关于ZooKeeper的疑问都得到了解释。 现在网上关于ZooKeeper的文章很多,有介 阅读全文
posted @ 2016-12-27 16:03 XGogo 阅读(591) 评论(0) 推荐(0) 编辑
摘要: 转:http://blog.csdn.net/sunjin9418/article/details/53143588 将一个顺序执行的流转变成一个并发的流只要调用 parallel()方法 public static long parallelSum(long n){ return Stream.i 阅读全文
posted @ 2016-12-16 19:54 XGogo 阅读(31535) 评论(0) 推荐(1) 编辑
摘要: 感谢同事【天锦】的投稿。投稿请联系 tengfei@ifeve.com上篇文章Java8初体验(一)lambda表达式语法比较详细的介绍了lambda表达式的方方面面,细心的读者会发现那篇文章的例子中有很多Stream的例子。这些Stream的例子可能让你产生疑惑,本文将会详细讲解Stream的使用 阅读全文
posted @ 2016-12-16 17:58 XGogo 阅读(772) 评论(0) 推荐(1) 编辑
摘要: 1. 介绍 2 接口的默认方法 2 lambda表达式 2.1 函数式接口 2.2 方法与构造函数引用 2.3 访问局部变量 2.4 访问对象字段与静态变量 3. 内建函数式接口 3.1 Predicate接口 3.2 Function 接口 3.3 Supplier 接口 3.4 Consumer 阅读全文
posted @ 2016-12-16 17:22 XGogo 阅读(7546) 评论(0) 推荐(0) 编辑
摘要: Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两种类 阅读全文
posted @ 2016-12-16 16:51 XGogo 阅读(2043) 评论(0) 推荐(0) 编辑
摘要: Parquet是面向分析型业务的列式存储格式,由Twitter和Cloudera合作开发,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢? 当时Twitter的日增数据量达到压缩之后的100TB+,存储在HD 阅读全文
posted @ 2016-12-16 16:43 XGogo 阅读(1462) 评论(0) 推荐(0) 编辑
摘要: 转:http://lxw1234.com/archives/2015/10/527.htm 关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channel type hdfs path 写入hdfs的路 阅读全文
posted @ 2016-12-16 14:57 XGogo 阅读(762) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 23 下一页