摘要:
kafka的吞吐量很大,在保证带宽的情况下,网上的一些测试表明3台broker,没有replication,6个partition的情况下,一般的写入速度可以达到300MB/s。参考:kakfa测试 kafka生产消息的速度和什么相关又和什么不相关呢? 相关项: 1,producer线程数:这个不言 阅读全文
摘要:
在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。 其实说白了,这 阅读全文
摘要:
记录HBase的学习过程。之后会陆续添加内容。 阅读hbase的博客,理解hbase是什么。推荐博文: 1,HBase原理,基础架构,基础概念 2,HBase超详细介绍 一、直接实践吧! 1,HBase standalone模式安装 版本:1.2.4 参考文档:http://archive.clou 阅读全文
摘要:
使用scala开发spark入门总结 一、spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍。推荐简单介绍连接:http://blog.jobbole.com/89446/ 1、 spark是什么? Spark是UC Berkeley AMP lab ( 阅读全文
摘要:
在scala中这四个类型名称很类似,作用确实完全不同的。 None是一个object,是Option的子类型,定义如下 [java] view plain copy print? case object None extends Option[Nothing] { def isEmpty = tru 阅读全文
摘要:
by chenkh 随笔记录什么是尾递归,为什么需要尾递归,尾递归show by example。 0,前言 递归通过灵巧的函数定义,告诉计算机做什么。在函数式编程中,随处可见递归思想的运用。一个递归的经典例子: 我们以上面代码最后一个快速排序函数为例,使用递归的方式,其代码实现非常的简洁和通俗易懂 阅读全文
摘要:
恢复内容开始 随笔记录scala中,有哪些类,如何定义一个类,有哪些注意点。 一,scala中有哪些类? 1,简单类 class 2,单例模式 object 3,伴生类 4,case class 5,trait 二,如何定义一个类 上面是最基本的类定义方法,定义类的时候可以选择有参数,也可以选择没有 阅读全文
摘要:
Kafka作为消息中间件,数据需要按照一定的规则删除,否则数据量太大会把集群存储空间占满。 参考:apache Kafka是如何实现删除数据文件(日志)的 Kafka删除数据有两种方式 按照时间,超过一段时间后删除过期消息 按照消息大小,消息数量超过一定大小后删除最旧的数据 Kafka删除数据的最小 阅读全文
摘要:
摘自http://blog.csdn.net/jewes/article/details/42970799 引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition 阅读全文
摘要:
文章摘自:美团点评技术团队 Kafka文件存储机制那些事 Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linked 阅读全文