随笔分类 -  scrapy

摘要:模拟登录是爬取某些站点内容的一个关键,有些网站(特别是论坛类),不登录的话,一个数据也拿不到。 模拟登录有这样几个关键: 提交登录表单的字段登录页面的url和登录表彰的字段名获取的方式有两种:1) 分析页面源代码,找到表单标签及属性。适应比较简单的页面,或者对网页代码,js非常熟悉。2) 采用抓包工 阅读全文
posted @ 2018-09-06 15:37 Shadow_Y 阅读(7187) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示