摘要: 我们遇到了什么?我们有这么一个业务场景,就是某供应商会去爬取某些数据,爬到后会发到一个FTP上,然后我们定时去获取这些数据这个数据有大有小,小的30多M数据量百万级,大的数据量能到数百M上千万数据然后当这些数据到达的时候,我们需要在有限的时间内把这些数据写入到我们自己的数据库里.而写入的过程包括先进 阅读全文
posted @ 2020-10-18 21:44 LeoLaw 阅读(604) 评论(0) 推荐(0) 编辑