摘要: 设立一个Job,每10分钟从数据源抓一次数据处理并更新自己的表格。例如当11分时执行,抓0分到10分Edit的数据,21分执行抓10分到20分Edit的数据。抓取的判断标志是一个Edit_Date的列(记录该列的编辑时间) 大于 begin_date 小于 end_date。 这样做会产生一些问题。首先数据源的列一直在更新,而我们要抓取0分到10分有更新过的所有列,就不能延迟到11分再执行。因为某一列在7分更新了,又在10分50秒更新了,那么11分执行Job抓数据时,这条数据的Edit_Date就是 10分50秒大于end_date 10分零秒,就会被漏掉。 那么不设定end_date... 阅读全文
posted @ 2012-08-17 22:03 SoXLiang 阅读(387) 评论(1) 推荐(0) 编辑