随笔分类 - presto&clickhouse
摘要：在mariadb 10.1版本中，在information_schema.processlist表中，新增了几个字段，其中有一个memory_used，其记录的是连接的内存消耗。 同时新增了一个状态变量memory_used，其记录的应该是所有连接加起来消耗的内存（官方并没有特别详细地解释https
阅读全文
摘要：通常来说，我们应该使用应用的特性而不是自己的爱好或者规定而去选择一种合适的组件，选择的标准应该是这个组件最适合或者本身其设计就是为了解决这个问题，而不是这个组件能够做这事情为标准。就拿存储来说，任何时候，我们都有至少文本文件、SQL数据库、文档数据库或者k/v方式来实现。在我们的一个监控MQ积压的系
阅读全文
摘要：最近有两三套环境升级到了5.7.16，发现mysql.err中的时间好像有些问题，经查是mysql 5.7后的变更，如下： root@localhost [(none)]>select now();+ +| now() |+ +| 2017-01-01 14:52:05 |+ +1 row in s
阅读全文
摘要：一直以来因为线上系统盘中风控计算过于消耗资源，导致服务器负载太高，时常影响盘中交易的稳定性，最近决定了将风控拆分到独立的库进行计算，并进行回填操作。 总体来说，是将部分风控计算相关的表同步到备库，但是同步的表需要从db_act->db_rsk;db_rsk->db_rsk;db_sys->db_rs
阅读全文
摘要：最近在转一个原来使用oracle，改为mysql的系统，有些常用的oracle函数的mysql实现顺便整理了下，主要是系统中涉及到的（其实原来是专门整理过一个详细doc的，只是每次找word麻烦）。 date 公元前4712年1月1日至公元9999年12月31日 datetime:取值范围：1000
阅读全文
摘要：昨天晚上，运维过来说有台生产服务器的mysql cpu一直100%，新的客户端登录不了，但是已经在运行的应用都正常可用。 登录服务器后，top -H看了下，其中一个线程的cpu 一直100%，其他的几乎都空闲。 MySQL thread id 14560536, OS thread handle 0
阅读全文
摘要：Mysql 5.7.17发布了，主要修复： Changes in MySQL 5.7.17 (2016-12-12, General Availability) Changes in MySQL 5.7.17 (2016-12-12, General Availability) Changes in
阅读全文
摘要：完整排名，本月前20名的排名都没有发生变化，唯一值得注意的是随着RDBMS对nosql的支持，后续两年中mongodb不知道会发生什么样的变化，毕竟这些年来要颠覆RDBMS的忽悠太多，但不少独立的所谓nosql供应商都因为过于小众而消失了，最主要还是很多时候远没有到真需要nosql的需求，而且很多n
阅读全文
摘要：mysql的密码策略通过插件的方式进行检查，插件的名称是validate_password，可通过如下方式安装： mysql> INSTALL PLUGIN validate_password SONAME 'validate_password.so';Query OK, 0 rows affect
阅读全文
摘要：因为笔者早期以oracle为主要RDBMS进行设计和优化，所以几乎即使单表超过5000w，多张超过300万以上的表做任意复杂的统计和风控计算都没出过性能问题。如今全面mysql为主线或者说open source rdbms为主线，随着系统逐渐往saas发展，不得不考虑后续大数据量时候的统计性能问题，
阅读全文
摘要：昨天一早，开发人员反馈说一个测试环境报Tablespace is missing for table 'db_rsk/XXX"，周末刚升级过，特地让开发回去查了下，说脚本中肯定没有drop table的操作。datadir下检查了下，发现frm文件在的ibd文件没有了，bing了下，没发现类似异常。
阅读全文
摘要：今天，某个环境又发生了死锁，如下： *** (1) TRANSACTION:TRANSACTION 735307073, ACTIVE 0 sec insertingmysql tables in use 1, locked 1LOCK WAIT 6 lock struct(s), heap siz
阅读全文
摘要：最近，将部分开发和测试环境的mysql升级到5.7之后，今天抽时间测试了下5.6和5.7 PK查询的性能，使用mysqlslap进行测试，测试结果发现在低配下，percona 5.6.31大约比5.7.15快20-30%左右，percona 5.7.15比mysql企业版5.7.16快10%左右，如
阅读全文
摘要：今早，把开发环境的mysql升级到了5.7.15，5.6数据导入后，启动一切正常，检查.err日志，发现有如下异常： 2016-10-31T00:29:33.187073Z 0 [Warning] System table 'time_zone_leap_second' is expected to
阅读全文
摘要：公司当前版本的系统大量的使用了存储过程，有些复杂的过程套过程，一个主调用者可能最多调用其它几十个小的业务逻辑和判断，不要说这么做很不合理，在大陆，目前至少30%的证券交易系统代码都是用存储过程写业务逻辑的，包括sql server/oracle/mysql，三个版本都有，所以BS把业务写在存储过程的
阅读全文
摘要：通常来说，各种技术实现的优化参数或者选项或者歪门邪道之所以能被想出来，通常是因为开发者或者实现的贡献者曾经遇到过导致此结果的问题，所以才出了对应的策略选项。 在有些情况下，比如存在客户端或者服务端连接级别内存泄漏或者资源不释放，但是在较短的周期内无法解决的时候亦或是从经济角度或其他角度我们不愿意更改
阅读全文
摘要：很多情况下，很多问题从理论上或者管理上而言都是可以避免或者说很好解决的，但是一旦涉及到现实由于管理或者协调或者规范执行的不够到位，就会出现各种各样本不该出现的问题，这些问题的通常在生产环境并不会出现，但是现实是无论在任何环节出现，都得去找到解决方法，很多时候原因是一部分，预防措施也是一部分，但解决方
阅读全文
摘要：对于不是采用所有字段都是not null的mysql表设计而言，mysql提供了一个<=>操作符。 在oracle中我们的处理方式通常类似： where a = #{var} or #{var} is null 或者 where a = nvl(#{var},' ') or nvl(#{var},'
阅读全文
摘要：为了解决http://www.cnblogs.com/zhjh256/p/5807086.html的问题测试mariadb connector，常规的增删改查没有问题。 这本来是为了解决存储过程bug出现的，结果实现上还和mysql jdbc不兼容。 在1.4.6版本中，cpu立刻飙升到100%，导
阅读全文
摘要：今天系统升级，开发、测试说本地环境、测试环境都没有问题，都用ssh client升的，演示环境报错了Data too long for column。 仔细检查了下，表字符集都是utf-8，目测长度肯定没超过。仔细查了下，问题出在character_set_client上。如下所示： mysql>
阅读全文
