摘要: 采集数据的时候,由于先期对页面结构的分析不完善,导致采漏了一部分数据。完善代码之后重新运行 Scrapy,又采集了一些重复的数据,搜了下删除重复数据的方法。 N.B. 删除数据表的重复数据时,请先备份数据表。 方法一 方法二 P.S. 当数据表的数据量较多时,建议使用方法二,大大节省时间。 参考链接 阅读全文
posted @ 2017-07-20 21:03 imzhi 阅读(1421) 评论(0) 推荐(0) 编辑