scrapy (3)- post请求

”python爬虫系列“目录：

• Python爬虫（一）-必备基础
• Python爬虫（二）- Requests爬虫包及解析工具 xpath
• Python爬虫（三）- Scrapy爬虫框架系列

• scrapy (1)- 基础用法
• scrapy (2)- get请求
• scrapy (3)- post请求
• scrapy (4)-请求传参
• scrapy (5)-爬取二级页面的内容
• scrapy (6)-CrawlSpider的使用
   
   
   

'''
QiuBai.py 爬虫文件
'''

import scrapy


class PostSpider(scrapy.Spider):
    name = 'post'
    allowed_domains = ['cn.bing.com']
    # start_urls = ['http://cn.bing.com/']
    
    # 爬虫一启动，就是直接运行start_requests这个函数，这个函数发送的是get请求，如果现在你想直接发送post请求，所以你应该重写这个方法
    # def start_requests(self):
    #   for url in start_urls:
    #       yield scrapy.Request(url=url, callback=self.parse)
    
    def start_requests(self):
        post_url = 'https://cn.bing.com/ttranslationlookup?&IG=043A7C9FF4554AF19C3E9A576C1044CE&IID=translator.5036.3'
        data = {
            'from': 'zh-CHS',
            'to': 'en',
            'text': '高原',
        }
        yield scrapy.FormRequest(url=post_url, formdata=data, callback=self.parse)

    def parse(self, response):
        print('*' * 100)
        print(response.text)
        print('*' * 100)