摘要： mysql备库处理binlog日志是单线程的，无论主库有多少个database或者主库的tps有多高，备库当前的恢复模式都是单进程恢复。这样解决了并发的问题，但是也是备库很容易在主库高tsp的情况下，造成延迟。一些情况下，备库的延迟可以通过预热来加快sql的执行速度。预热就是将需要更新的数据提取进行select，将数据缓存到内存，减少恢复进程执行时的IO消耗。 但当更新的数据很随机，数据量远远大于buffer pool大小时就不适用了。数据库的tps上不去，负载过高，同时备库延迟，很多情况下是由于磁盘IO的压力导致的，如果重点考虑的方向是如何在不改变硬件配置的情况下降低io压力，提高整体性能。 阅读全文

摘要： 最近，因为工作的需要，一直在研究hadoop系统。许多分析工作都将通过hive来解决，所以特将所碰到的问题和解决方案，陆续整理出来，既做为回顾又供需要的朋友参考！ 因为要实现多人开发Hive，所以需要将hive的元数据存储在mysql。配置完成后，配置之前hive中创建的数据表在show tables时都不会出现，但hdfs数据文件都还在。 当在hive中drop table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/. 阅读全文