06 2019 档案
发表于 2019-06-23 14:06阅读次数:457评论次数:0
摘要:本文讨论了Kafka主题的体系架构,讨论了如何将分区用于故障转移和并行处理。 Kafka主题,日志和分区 Kafka将主题存储在日志中。主题日志分为多个分区。Kafka将日志的分区分布在多个服务器或磁盘上。将主题视为类别,流名称或提要。 主题本身就是发布和订阅样式的消息传递。一个主题可以有零个或多个
阅读全文 »
发表于 2019-06-23 14:05阅读次数:6755评论次数:1
摘要:Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。 一、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数
阅读全文 »
发表于 2019-06-12 17:18阅读次数:3034评论次数:0
摘要:jinfo 可以输出并修改运行时的java 进程的opts。 jps 与unix上的ps类似,用来显示本地的java进程,可以查看本地运行着几个java程序,并显示他们的进程号。 jstat 一个极强的监视VM内存工具。可以用来监视VM内存内的各种堆和非堆的大小及其内存使用量。 jmap 打印出某个
阅读全文 »
发表于 2019-06-12 17:17阅读次数:371评论次数:1
摘要:对于这项规定,很多研发小伙伴不理解。本文就来深入简出地分析MySQL索引设计背后的数据结构和算法,从而可以帮你释疑如下问题: 1、为什么innodb表需要主键? 2、为什么建议innodb表主键是单调递增? 3、为什么不建议innodb表主键设置过长? B-tree(多路搜索树,并不是二叉的)是一种
阅读全文 »
发表于 2019-06-12 14:36阅读次数:2013评论次数:0
摘要:图4 图4 那么如何并行化,并行IO线程,还是并行SQL线程?其实两方面都可以并行,但是并行SQL线程的收益更大,因为SQL线程做的事情更多(解析,执行)。并行IO线程,可以将从Master拉取和写Relay log分为两个线程;并行SQL线程则可以根据需要做到库级并行,表级并行,事务级并行。库级并
阅读全文 »
发表于 2019-06-12 14:35阅读次数:596评论次数:0
摘要:一打开科技类论坛,最常看到的文章主题就是MySQL性能优化了,为什么要优化呢? 因为: 数据库出现瓶颈,系统的吞吐量出现访问速度慢随着应用程序的运行,数据库的中的数据会越来越多,处理时间变长数据读写速度缓慢 就是咱们说的“性能问题”,程序员一遇到它总是焦头烂额! 今天小编对MySQL优化总结了一些心
阅读全文 »
发表于 2019-06-12 14:34阅读次数:4297评论次数:1
摘要:目录 为什么要有索引 索引原理 磁盘IO与预读 索引的数据结构 b+树的查找过程 b+树性质 MySQL的索引分类 索引的两大类型hash与btree 添加索引,必须遵循原则 慢查询优化的基本步骤 欢迎关注笔者,优质文章都在这里等你。 一、为什么要有索引 索引在MySQL中也叫做“键”,是存储引擎用
阅读全文 »
发表于 2019-06-12 14:32阅读次数:564评论次数:0
摘要:过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天,那么这2天内的所有消息都会被保存到集群中,数据只有超过了两天才会被清除。 Kafka只维护在Partition中的offset值,因为这个offsite标识着这个partition的message消费到哪条了。Consumer每
阅读全文 »
发表于 2019-06-12 14:30阅读次数:5542评论次数:0
摘要:房间里灯光昏暗,两个男人相对而坐, 良久,眼睛男率先打破僵局, 眼睛男,知道锁么 帅气男,知道些, 眼睛男:什么是锁? 一种保护机制,在多线程的情况下,保证操作数据的正确性/一致性, 眼镜男:有哪几种分类? 悲观锁,乐观锁,独占锁,共享锁,公平锁,非公平锁,分布式锁,自旋锁 眼睛男:讲讲乐观锁悲观锁
阅读全文 »
发表于 2019-06-12 14:29阅读次数:1661评论次数:0
摘要:英文原文:https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html ES发布时带有的默认值,可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想
阅读全文 »
发表于 2019-06-12 14:27阅读次数:715评论次数:0
摘要:说起MySQL的查询优化,相信大家收藏了一堆奇技淫巧:不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型..... 你是否真的理解这些优化技巧?是否理解其背后的工作原理?在实际场景下性能真有提升吗?我想未必。因而理解这些优化建议背后的原理就尤为重要,希望本文能让你重
阅读全文 »
发表于 2019-06-12 14:26阅读次数:703评论次数:0
摘要:表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度(key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的)不损失精确性的情况下,长度越短越好 表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度(key_len
阅读全文 »
发表于 2019-06-12 14:23阅读次数:230评论次数:0
摘要:一、为什么需要消息系统 二、kafka 架构 2.1 拓扑结构 如下图: 图.1 2.2 相关概念 如图.1中,kafka 相关名词解释如下: 2.3 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示: 图.2 三、producer 发布消息 3.1 写入方式 p
阅读全文 »
发表于 2019-06-12 14:22阅读次数:2221评论次数:3
摘要:1 基于binlog的主从复制 Mysql 5.0以后,支持通过binary log(二进制日志)以支持主从复制。复制允许将来自一个MySQL数据库服务器(master) 的数据复制到一个或多个其他MySQL数据库服务器(slave),以实现灾难恢复、水平扩展、统计分析、远程数据分发等功能。 二进制
阅读全文 »