摘要：
kafka的吞吐量很大，在保证带宽的情况下，网上的一些测试表明3台broker，没有replication，6个partition的情况下，一般的写入速度可以达到300MB/s。参考：kakfa测试 kafka生产消息的速度和什么相关又和什么不相关呢？ 相关项： 1，producer线程数：这个不言 阅读全文
摘要：
在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”。 其实说白了，这 阅读全文
摘要：
记录HBase的学习过程。之后会陆续添加内容。 阅读hbase的博客，理解hbase是什么。推荐博文： 1，HBase原理，基础架构，基础概念 2，HBase超详细介绍 一、直接实践吧！ 1，HBase standalone模式安装 版本：1.2.4 参考文档：http://archive.clou 阅读全文
摘要：
使用scala开发spark入门总结 一、spark简单介绍 关于spark的介绍网上有很多，可以自行百度和google，这里只做简单介绍。推荐简单介绍连接：http://blog.jobbole.com/89446/ 1、 spark是什么？ Spark是UC Berkeley AMP lab ( 阅读全文
摘要：
在scala中这四个类型名称很类似，作用确实完全不同的。 None是一个object，是Option的子类型，定义如下 [java] view plain copy print? case object None extends Option[Nothing] { def isEmpty = tru 阅读全文
摘要：
by chenkh 随笔记录什么是尾递归，为什么需要尾递归，尾递归show by example。 0，前言 递归通过灵巧的函数定义，告诉计算机做什么。在函数式编程中，随处可见递归思想的运用。一个递归的经典例子： 我们以上面代码最后一个快速排序函数为例，使用递归的方式，其代码实现非常的简洁和通俗易懂 阅读全文
摘要：
恢复内容开始 随笔记录scala中，有哪些类，如何定义一个类，有哪些注意点。 一，scala中有哪些类？ 1，简单类 class 2，单例模式 object 3，伴生类 4，case class 5，trait 二，如何定义一个类 上面是最基本的类定义方法，定义类的时候可以选择有参数，也可以选择没有 阅读全文
摘要：
Kafka作为消息中间件，数据需要按照一定的规则删除，否则数据量太大会把集群存储空间占满。 参考：apache Kafka是如何实现删除数据文件(日志)的 Kafka删除数据有两种方式 按照时间，超过一段时间后删除过期消息 按照消息大小，消息数量超过一定大小后删除最旧的数据 Kafka删除数据的最小 阅读全文
摘要：
摘自http://blog.csdn.net/jewes/article/details/42970799 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition 阅读全文
摘要：
文章摘自：美团点评技术团队 Kafka文件存储机制那些事 Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linked 阅读全文