摘要：
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” 阅读全文
posted @ 2020-07-01 17:13
是谁扭曲了时空
阅读(711)
评论(0)
推荐(0)
摘要：
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。 1、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数 阅读全文
posted @ 2020-07-01 17:01
是谁扭曲了时空
阅读(1019)
评论(0)
推荐(0)
摘要：
jeval是为为你的Java应用程序提供可增加的、高性能、数学、 布尔和函数表达式的解析和运算的高级资源包。 以下这个样例包括了JEval经常使用功能： package demo0; import net.sourceforge.jeval.EvaluationException; import n 阅读全文
posted @ 2020-07-01 16:07
是谁扭曲了时空
阅读(636)
评论(0)
推荐(0)
摘要：
二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 **Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。**hive需要用到hdfs存储文件，需要用到MapReduce 阅读全文
posted @ 2020-07-01 15:20
是谁扭曲了时空
阅读(223)
评论(0)
推荐(0)
摘要：
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作 阅读全文
posted @ 2020-07-01 15:06
是谁扭曲了时空
阅读(293)
评论(0)
推荐(0)
摘要：
前言 本文所写的，偏重于架构师的内容，所以阅读的小伙伴，要有综合的一些能力，否则，你可能会被其中的计算给弄晕，不过既然，阅读我的文章嘛，都是从基础开始写起，所以还是很好读的。 本文要讨论的话题是，当我搭建一个kafka集群的时候，我们需要考虑的问题。 不能张口就来，我需要什么什么配置的机器之类的，那 阅读全文
posted @ 2020-07-01 14:11
是谁扭曲了时空
阅读(2248)
评论(0)
推荐(0)
摘要：
基础概念 kafka基础构成 producer 消息生产者，发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。 partition partition是物理上的概念，每个topi 阅读全文
posted @ 2020-07-01 14:04
是谁扭曲了时空
阅读(375)
评论(0)
推荐(0)
摘要：
简介 MetaQ是一款高性能的消息中间件，经过几年的发展，已经非常成熟稳定，历经多年双11的零点峰值压测，表现堪称完美。 MetaQ当前最新最稳定的稳本是3.x系统，MetaQ 3.x重新设计和实现，比之前的版本更优秀。虽然MetaQ借鉴了linkedin 的消息中间件kafak思想，但已经是青出于 阅读全文
posted @ 2020-07-01 13:58
是谁扭曲了时空
阅读(240)
评论(0)
推荐(0)
浙公网安备 33010602011771号