随笔分类 - MySQL
摘要：一、MySQL扩展具体的实现方式 随着业务规模的不断扩大，需要选择合适的方案去应对数据规模的增长，以应对逐渐增长的访问压力和数据量。 关于数据库的扩展主要包括：业务拆分、主从复制，数据库分库与分表。这篇文章主要讲述数据库分库与分表 （1）业务拆分 在 大型网站应用之海量数据和高并发解决方案总结一二
阅读全文
摘要：一 为什么要做这个事情1 什么是慢SQL？这里指的是MySQL慢查询，具体指运行时间超过long_query_time值的SQL。我们常听常见的MySQL中有二进制日志binlog、中继日志relaylog、重做回滚日志redolog、undolog等。针对慢查询，还有一种慢查询日志slowlog，
阅读全文
摘要：这一篇讲讲 group by plus，大家应该都知道 group by，可是 plus 是什么鬼呢？其实和 iphone plus一样，就是升级版的意思。那到底这个 plus 是个什么东西呢？我们接下来慢慢讲。 一、前言 我们先来看个数据需求场景，现在我有一张明细表，这张表里面存储了每个店铺的成交
阅读全文
摘要：来自公众号：码海 前言 大家好，我是坤哥，今天我想和大家聊一聊实时索引的构建之道，来自我司 PB 级索引数据的实战经验，相信对大家肯定有帮助。 近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回
阅读全文
摘要：数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值，同时严格管理数据的权限，避免数据泄露带来的业务风险。数据治理是数字时代很多公司一项非常重要的核心能力，本文介绍了美团酒旅平台在数
阅读全文
摘要：问题：在做不同数据库的迁移时候，单个的表还很好操作如果是多个数据库的表呢。如果是一个个的去创建那简直太麻烦了。解决办法: 读取数据库中表->创建表->表数据抽取整个抽取过程包括一个job和两个trans，先来看看整个job吧： 1、首先是数据库的表名抽取trans：作用是读取数据库的表名并以此记录。
阅读全文
摘要：原地址 ：http://ainidehsj.iteye.com/blog/1735434 需求： 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导
阅读全文
摘要：配置主的配置文件 vi /etc/my.cnf 创建复制用户并授权给从服务器 grant replication slave on *.* to 'rpl'@'192.168.162.130' identified by '123456'; 重启主服务器的MySQL /etc/init.d/mysq
阅读全文
摘要：一、前言 自MySQL5.1.6起，增加了一个非常有特色的功能-事件调度器（Event Scheduler），可以用做定时执行某些特定任务（例如：删除记录、对数据进行汇总、数据备份等等），来取代原先只能由操作系统的计划任务来执行的工作。更值得一提的是MySQL的事件调度器可以精确到每秒钟执行一个任务
阅读全文
摘要：来自公众号：程序员内点事 《sharding-jdbc 分库分表的 4种分片策略》 中我们介绍了 sharding-jdbc 4种分片策略的使用场景，可以满足基础的分片功能开发，这篇我们来看看分库分表后，应该如何为分片表生成全局唯一的主键 ID。 引入任何一种技术都是存在风险的，分库分表当然也不例外
阅读全文
摘要：SQL数据库中数据处理时，有时候需要建立临时表，将查询后的结果集放到临时表中，然后在针对这个数据进行操作。 创建“临时表”（逻辑上的临时表，可能不一定是数据库的）的方法有一下几种： 1.with tempTableName as方法（05之后出现）： with temptable as 其实并没有建
阅读全文
摘要：一直以来都很少使用sql中的with语句，但是看到了一篇文章中关于with的使用，它的确蛮好用，希望以后记得使用这个语句。一、with 的用法With alias_name as (select1)[,alias_namen as (select n) ]--中括号可以省略Select ….举例，如
阅读全文
摘要：来自公众号：IT牧场 EXPLAIN作为MySQL的性能分析神器，读懂其结果是很有必要的，然而我在各种搜索引擎上竟然找不到特别完整的解读。都是只有重点，没有细节（例如type的取值不全、Extra缺乏完整的介绍等）。 所以，我肝了将近一个星期，整理了一下。这应该是全网最全面、最细致的EXPLAIN解
阅读全文
摘要：文章来源 https://blog.csdn.net/yehongzhi1994/article/details/108034330 思维导图 前言 在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。 如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。 这
阅读全文
摘要：前言 在很多项目，特别是互联网项目，在使用MySQL时都会采用主从复制、读写分离的架构。 为什么要采用主从复制读写分离的架构？如何实现？有什么缺点？让我们带着这些问题开始这段学习之旅吧！ 为什么使用主从复制、读写分离 主从复制、读写分离一般是一起使用的。目的很简单，就是为了提高数据库的并发性能。你想
阅读全文
摘要：简述otter是一个基于canal的数据同步平台，含义是水獭，主要的功能就是可以将mysql的数据同步至另外mysql或者oracle，在项目中应用场景主要是多数据中心、BI系统抽取数据、灾备。另外也支持双向同步（即A库同步给B库，B库也同步给A库）、文件同步，不过目前笔者这还没用到。简单就可以理解
阅读全文
摘要：数据同步工具otter（一）谈谈binlog和canal之前因为懒，没有针对otter做更多的解释和说明，在使用过程中，也发现了一些问题，此次补上一个完整的文档，方便大家使用。Otter是基于cannal开源的，canal又是基于mysql binlog的产品。我们就从binlog说起binlogm
阅读全文
摘要：1 需求 在同一台服务器同一MySQL实例中的source库和target库都存在student表。如果source库中该表发生增删改操作时，也需要体现到target库的student表中； 2 解决方案 2.1 方案一：使用Shell脚本实现 由于自己缺少使用Shell编程的经验，此路暂时不通；
阅读全文
摘要：发生死锁了，如何排查和解决呢？本文将跟你一起探讨这个问题 准备好数据环境 模拟死锁案发 分析死锁日志 分析死锁结果 环境准备 数据库隔离级别： mysql> select @@tx_isolation; + + | @@tx_isolation | + + | REPEATABLE-READ | +
阅读全文
摘要：应用程序慢如牛，原因多多，可能是网络的原因、可能是系统架构的原因，还有可能是数据库的原因。那么如何提高数据库SQL语句执行速度呢？有人会说性能调优是数据库管理员（DBA）的事，然而性能调优跟程序员们也有莫大的关系。 程序中嵌入的一行行的SQL语句，如果使用了一些优化小技巧，定能达到事半功倍的效果。技
阅读全文