python3下应用pymysql(第三卷)(数据自增-用于爬虫)

在上卷中我说出两种方法进行数据去重自增,第一种就是在数据库的字段中设置唯一字段,二是在脚本语言中设置重复判断再添加(建议,二者同时使用,真正开发中就会用到)

话不多说先上代码

第一步:

确定那一字段的数据为不可重复数据,我在这个测试表中希望worknum的数据为不可重复数据,现在看下表中数据:

第二步:

测试查询语句:

可以看出查询语句以字符串的形式存在于方法中结果如下:

可以看出数据可以正常查询

第三步:

模拟数据演练,进行判断

我在1处做了组测试数据,可以看到list1里的worknum数据在数据表中已经存在,在2处进行判断,如果存在则告知数据,已存在,否则插入数据,由于LIST1中数据存在所以打印结果如下:

没有新数据添加进来

现在我改一下list1的内容

我改了下worknum的值,结果如下:

 

 

 数据表内增加了新的值,依此类推到数据自增,爬虫的时候如何拒绝爬取重复数据,明白了吧

 

posted @ 2018-01-18 15:09  我爱在伊甸园吃苹果  阅读(545)  评论(0编辑  收藏  举报