scrapy_Response and Request

scrapy中重要的两个类是什么?

       Requests、Response

什么是Requests?

       网页下载

       有哪些参数?

              url

              callback

              headers           # 头部信息

              cookie                             # 会自带cookie

              meta                               # request和response中添加信息

              encoding                        # 默认utf8,可自定义添加

              priority                           # 让某些URL优先

              dont_filter                      # 让request不被过滤掉

              errback                           # 网页404,错误处理函数

什么是response类?

  下载后返回的页面信息

       有哪些参数?

              url                               # 当前网页URL

              status                          # 返回网页的状态码

              header                        # 服务器返回的header

              body                           # 下载的网页内容

              request                       # 之前yield出去的request

       有哪些子类?

              respones.http.HtmlResponse

                     HtmlResponse类有两个方法?

                       xpath方法

                       css方法

    完全继承TextResponse

              调用selector中xpath、css方法

spider产生requests,yield给engine,下载器下载request获得response,交给engine,engine交给spider

posted @ 2017-08-15 21:33  梦_鱼  阅读(181)  评论(0编辑  收藏  举报