Python Scrapy 自动爬虫注意细节(3)
一、对指定页面爬取
yield Request(url, meta={'cookiejar': response.meta['cookiejar']}, callback=self.parse_url)
parse_url :处理函数
url :指定链接
cookiejar:登录验证后的cookie
yield :必须使用yield
二、Python 中 yield 用法
http://blog.163.com/l_greatsea/blog/static/2049860442013220113640476/
博客地址: http://www.cnblogs.com/defineconst/
博客版权: 本文以学习、研究和分享为主,欢迎转载和各类爬虫,但必须在文章页面明显位置给出原文链接。 如果文中有不妥或者错误的地方还望高手的您指出,以免误人子弟。如果您有更好的建议,不如留言一起讨论,共同进步! 再次感谢您耐心的读完本篇文章。
博客版权: 本文以学习、研究和分享为主,欢迎转载和各类爬虫,但必须在文章页面明显位置给出原文链接。 如果文中有不妥或者错误的地方还望高手的您指出,以免误人子弟。如果您有更好的建议,不如留言一起讨论,共同进步! 再次感谢您耐心的读完本篇文章。