python爬虫学习之每日抓取新增微博
爬虫学习的一点心得
任务:每日新增微博指定信息抓取
抓取:requests
解析:xpath,正则表达式
存储:MongDB
遇到的问题:
1. xpath 解析时,如果有一个标签中有2个属性,2个属性之间用and相连,如果其中一个属性不一样,后面不用跟等号
selector.xpath('//div[@class="c" and @id]')
2.将每个微博的作者和发布时间合并成一个字符,插入到redis的一个集合
cmcc_sets中,当插入成功表示,该微博为新增微博需要下载到MongoDB中,如果未插入成功,则表示该微博已经下载过,无需重复插入