摘要: 我们公司对于数据同步有以下需求 1、多个mysql库中有一些基础表需要数据统一,mysql跨库同步 2、mysql热数据加载到redis 3、全文检索需要mysql同步到es 4、数据变更是附属的其它操作,如发http请求、发通知等 所有的这些打算在数据同步中完成。 canal是阿里为解决双机房数据 阅读全文
posted @ 2017-12-26 17:15 大明湖畔的守望者 阅读(745) 评论(0) 推荐(0) 编辑
摘要: 最近在调研canal数据同步系统的监控方案,网上关于jmxtrans+influxdb+grafana监控kafka的文档很多,没有监控canal的。通过几天的摸索,大致明白了来龙去脉。监控流程基本是一样的,只在个别配置的地方稍有差异。记录一下,供别人参考,也顺便总结一下。 监控系统一般分为3部分, 阅读全文
posted @ 2017-12-08 16:21 大明湖畔的守望者 阅读(4032) 评论(0) 推荐(0) 编辑
摘要: 在开始处理一个http请求时,nginx会取出header头中的host,与nginx.conf中每个server的server_name进行匹配,以此决定到底由哪一个server块来处理这个请求。 server_name与host匹配优先级如下: 1、完全匹配 2、通配符在前的,如*.test.c 阅读全文
posted @ 2017-11-15 15:18 大明湖畔的守望者 阅读(21614) 评论(1) 推荐(2) 编辑
摘要: 1、通用匹配规则 . 匹配除换行符以外的任意字符 \w 匹配字母、数字、下划线、汉字 \s 匹配任意的空白符 \d 匹配数字 ^ 匹配字符串的开始 $ 匹配字符串的结束 * 重复零次或更多次 + 重复一次或更多次 ? 重复零次或一次 {n} 重复n次 {n,} 重复n次或更多次 {n,m} 重复n到 阅读全文
posted @ 2017-11-15 10:39 大明湖畔的守望者 阅读(3227) 评论(0) 推荐(0) 编辑
摘要: 按步骤图文说明 第一步:选择要导出的工程,右键【export】 第二步:双击Java文件夹下的【Runnable Jar File】 第三步:该步骤分4步走 有可能找不到main方法所在类,是因为需要运行一下main方法才可以在此处找到。 Extract required libraries int 阅读全文
posted @ 2017-11-14 15:13 大明湖畔的守望者 阅读(57121) 评论(0) 推荐(4) 编辑
摘要: 先贴代码 阅读全文
posted @ 2017-11-10 17:08 大明湖畔的守望者 阅读(6623) 评论(0) 推荐(1) 编辑
摘要: 1、Properties类 Properties类表示了一个持久的属性集。Properties可保存在流中或从流中加载,属性列表中的key和value必须是字符串。 虽然Properties类继承了java.util.Hashtable,可以使用Hashtable的put等方法,但是这些方法允许使用 阅读全文
posted @ 2017-11-10 16:12 大明湖畔的守望者 阅读(1524) 评论(0) 推荐(0) 编辑
摘要: 1、下载systemtap安装包并安装 从https://sourceware.org/systemtap/ftp/releases/下载最新版的systemtap.tar.gz压缩包 我安装的时候,最新版本是3.2 wget https://sourceware.org/systemtap/ftp 阅读全文
posted @ 2017-11-06 11:28 大明湖畔的守望者 阅读(1131) 评论(0) 推荐(0) 编辑
摘要: 1、if代码块 2、while代码块,lua没有提供do-while结构 3、repeat代码块,until的条件为真时结束,这一点与其它语言有所区别 4、for循环 数字for(numeric for),第三个表达式step是可选的,表示增幅,默认为1 范型for(generic for)循环通过 阅读全文
posted @ 2017-11-03 13:58 大明湖畔的守望者 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 使用 self.crawl 的 js_script 参数,在页面上执行一段脚本,实现【点击加载更多】的效果: 阅读全文
posted @ 2017-11-02 14:01 大明湖畔的守望者 阅读(227) 评论(0) 推荐(0) 编辑