06 2019 档案
发表于 2019-06-23 14:06阅读次数：457评论次数：0
摘要：本文讨论了Kafka主题的体系架构，讨论了如何将分区用于故障转移和并行处理。 Kafka主题，日志和分区 Kafka将主题存储在日志中。主题日志分为多个分区。Kafka将日志的分区分布在多个服务器或磁盘上。将主题视为类别，流名称或提要。 主题本身就是发布和订阅样式的消息传递。一个主题可以有零个或多个
阅读全文 »
发表于 2019-06-23 14:05阅读次数：6755评论次数：1
摘要：Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。 一、页缓存技术 + 磁盘顺序写 首先Kafka每次接收到数
阅读全文 »
发表于 2019-06-12 17:18阅读次数：3034评论次数：0
摘要：jinfo 可以输出并修改运行时的java 进程的opts。 jps 与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。 jstat 一个极强的监视VM内存工具。可以用来监视VM内存内的各种堆和非堆的大小及其内存使用量。 jmap 打印出某个
阅读全文 »
发表于 2019-06-12 17:17阅读次数：371评论次数：1
摘要：对于这项规定，很多研发小伙伴不理解。本文就来深入简出地分析MySQL索引设计背后的数据结构和算法，从而可以帮你释疑如下问题： 1、为什么innodb表需要主键？ 2、为什么建议innodb表主键是单调递增？ 3、为什么不建议innodb表主键设置过长？ B-tree（多路搜索树，并不是二叉的）是一种
阅读全文 »
发表于 2019-06-12 14:36阅读次数：2013评论次数：0
摘要：图4 图4 那么如何并行化，并行IO线程，还是并行SQL线程？其实两方面都可以并行，但是并行SQL线程的收益更大，因为SQL线程做的事情更多(解析，执行)。并行IO线程，可以将从Master拉取和写Relay log分为两个线程；并行SQL线程则可以根据需要做到库级并行，表级并行，事务级并行。库级并
阅读全文 »
发表于 2019-06-12 14:35阅读次数：596评论次数：0
摘要：一打开科技类论坛，最常看到的文章主题就是MySQL性能优化了，为什么要优化呢？ 因为： 数据库出现瓶颈，系统的吞吐量出现访问速度慢随着应用程序的运行，数据库的中的数据会越来越多，处理时间变长数据读写速度缓慢 就是咱们说的“性能问题”，程序员一遇到它总是焦头烂额！ 今天小编对MySQL优化总结了一些心
阅读全文 »
发表于 2019-06-12 14:34阅读次数：4297评论次数：1
摘要：目录 为什么要有索引 索引原理 磁盘IO与预读 索引的数据结构 b+树的查找过程 b+树性质 MySQL的索引分类 索引的两大类型hash与btree 添加索引，必须遵循原则 慢查询优化的基本步骤 欢迎关注笔者，优质文章都在这里等你。 一、为什么要有索引 索引在MySQL中也叫做“键”，是存储引擎用
阅读全文 »
发表于 2019-06-12 14:32阅读次数：564评论次数：0
摘要：过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。 Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每
阅读全文 »
发表于 2019-06-12 14:30阅读次数：5542评论次数：0
摘要：房间里灯光昏暗，两个男人相对而坐， 良久，眼睛男率先打破僵局， 眼睛男，知道锁么 帅气男，知道些， 眼睛男：什么是锁? 一种保护机制，在多线程的情况下，保证操作数据的正确性/一致性， 眼镜男：有哪几种分类？ 悲观锁，乐观锁，独占锁，共享锁，公平锁，非公平锁，分布式锁，自旋锁 眼睛男：讲讲乐观锁悲观锁
阅读全文 »
发表于 2019-06-12 14:29阅读次数：1661评论次数：0
摘要：英文原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html ES发布时带有的默认值，可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想
阅读全文 »
发表于 2019-06-12 14:27阅读次数：715评论次数：0
摘要：说起MySQL的查询优化，相信大家收藏了一堆奇技淫巧：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型..... 你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这些优化建议背后的原理就尤为重要，希望本文能让你重
阅读全文 »
发表于 2019-06-12 14:26阅读次数：703评论次数：0
摘要：表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的）不损失精确性的情况下，长度越短越好 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len
阅读全文 »
发表于 2019-06-12 14:23阅读次数：230评论次数：0
摘要：一、为什么需要消息系统 二、kafka 架构 2.1 拓扑结构 如下图： 图.1 2.2 相关概念 如图.1中，kafka 相关名词解释如下： 2.3 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示： 图.2 三、producer 发布消息 3.1 写入方式 p
阅读全文 »
发表于 2019-06-12 14:22阅读次数：2221评论次数：3
摘要：1 基于binlog的主从复制 Mysql 5.0以后，支持通过binary log(二进制日志)以支持主从复制。复制允许将来自一个MySQL数据库服务器（master) 的数据复制到一个或多个其他MySQL数据库服务器（slave)，以实现灾难恢复、水平扩展、统计分析、远程数据分发等功能。 二进制
阅读全文 »
