摘要： 一、使用scrapy框架发送post请求 创建一个项目，如下目录，修改settings.py文件中的 "ROBOTSTXT_OBEY"和"USER_AGENT" 自己尝试实现！ 二、请求传参 我们知道有时候需要爬取的数据并不是都在一个页面中，而是在不同页面中，这时候用scrapy框架该如何做呢？下面 阅读全文