摘要: 在手机端打开慕课网,fiddler查看如图注意圈起来的位置 经过分析只有画线的page在变化 上代码: items.py 1 import scrapy 2 3 4 class ImoocItem(scrapy.Item): 5 # define the fields for your item h 阅读全文
posted @ 2017-06-16 16:23 hcw_19 阅读(4229) 评论(1) 推荐(0) 编辑
摘要: 一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码, 最后将生产的html代码交给spider分析。本篇文章则是通过利用fiddler抓包获取json数据分析Ajax页面的具体请求内容,找到获取数据的接口url,直接调用该接口获取数据,省去了引 阅读全文
posted @ 2017-06-16 12:52 hcw_19 阅读(2163) 评论(0) 推荐(0) 编辑