摘要: 因为BI的需要,需要将数据库A库的某些表传输至到另外的一个数据库B中。数据除了新增外,还需要更新 修改与删除的记录,所以自增ID的增量添加是满足不了需求的。 通过选型引入了阿里的Otter 框架,有一段时间工作正常。 某天BI说数据不同步了,登陆上otter Manager , 发现pipeline 阅读全文
posted @ 2018-01-26 16:37 伟成 阅读(1534) 评论(0) 推荐(0) 编辑
摘要: # 查询当前运行的SQL ,获取当前性能较弱的SQL SHOW FULL PROCESSLIST; SELECT * FROM `information_schema`.processlist WHERE Command ='Query' ; # 查看表索引 SHOW INDEX FROM qp_ttx_callback_record ; ; #查看表列 SHOW COLUMNS FRO... 阅读全文
posted @ 2017-12-26 13:52 伟成 阅读(545) 评论(0) 推荐(0) 编辑
摘要: 本次案例的数据库为 Percona-Server-5.7.17-11 起因是 导入大量数据的时候, 数据库被oom kill 了 查看 /var/log/message 发现如下信息 : 最开始是怀疑是内存不足,在磁盘性能充足的情况下打开了swap ,但结果还是OOM: 由于数据库使用量很少, 应该 阅读全文
posted @ 2017-12-12 15:27 伟成 阅读(7191) 评论(0) 推荐(0) 编辑
摘要: 手头上有1万个URL , 尝试用迅雷下载, 结果放在列表中就挂了 ,与同事沟通cat + xargs 能快速实现 . 具体代码如下: urlList.txt 执行调用: cat urlList.txt | xargs -P3 -n1 bash getFile.sh 其中-P3 代表3个并发 检查执行 阅读全文
posted @ 2017-12-04 13:53 伟成 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 来源:http://blog.csdn.net/christ_shl/article/details/48680269 python脚本实现excel和mysql数据库表的导入导出 excel到mysql数据库表(仅支持.xlsx格式导入): mysql数据库表到excel(仅支持.xlsx格式导出 阅读全文
posted @ 2017-07-13 09:44 伟成 阅读(14050) 评论(0) 推荐(0) 编辑
摘要: 为了解决日志文件监控的问题, 使用python脚本完成了基于关键字的告警功能 环境 python 2.7 依赖包 time \ traceback \ filelock \ logging 代码如下: 阅读全文
posted @ 2017-07-06 04:17 伟成 阅读(2495) 评论(0) 推荐(0) 编辑
摘要: 升级node 从4.5至8.1.3 遇坑集合,遇到的一些坑简单说明 基础目录 /usr/local/node-v4.5.0-linux-x64 /usr/local/node-v8.1.3-linux-x64 /usr/local/node -> /usr/local/node-v8.1.3-lin 阅读全文
posted @ 2017-07-05 09:28 伟成 阅读(842) 评论(0) 推荐(0) 编辑
摘要: AppStore IPv6-only审核被拒原因分析及解决方案 http://www.jianshu.com/p/8edfdfa20b29 自2016年6月1日起,苹果要求所有提交App Store的iOS应用必须支持IPv6-only环境,背景也是众所周知的,IPv4地址已基本分配完毕,同时IPv 阅读全文
posted @ 2017-06-28 11:17 伟成 阅读(282) 评论(0) 推荐(0) 编辑
摘要: 为了回答索引对数据库性能的影响,做了一次简单的实验。 测试环境 MySQL 5.7.10 innodb 100万随机数据 表结构 生成随机数据 ,并插入数据 myql中 执行call insert_calues(10000); 测试方式 shell 并发查询 增加索引并测试 ALTER TABLE 阅读全文
posted @ 2017-06-22 19:54 伟成 阅读(1871) 评论(0) 推荐(0) 编辑
摘要: 为了快速删除某类文件,通过 find . -name 'passenger*html' -exec rm -f {} \; 的速度太慢,可以使用如下方式 4线程并发执行,每线程删除10个文件 find . -name 'passenger*html' | xargs -n10 -P4 rm -f X 阅读全文
posted @ 2017-06-12 17:26 伟成 阅读(707) 评论(0) 推荐(0) 编辑