scrapy：日志和post请求

1. scrapy的日志信息设置

image-20230526133228313

配置文件settings.py设置：
默认的级别为DEBUG，会显示上面所有的信息
LOG_FILE : 将屏幕显示的信息全部记录到文件中，屏幕不再显示，注意文件后缀一定是.log
LOG_LEVEL : 设置日志显示的等级，就是显示哪些，不显示哪些

image-20230526134528146

image-20230526134812739

image-20230526135024272

image-20230526135151415

并没有正常打印，并且提示被百度反爬了，需要设置一下（settings.py）

可以看到正常情况下日志比较多，顺便设置一下

image-20230526135646553

image-20230526135706720

2. scrapy的post请求

image-20230526135911821

image-20230526140449850

image-20230526141044520

image-20230526140954834

image-20230526141938190

image-20230526142019769

image-20230526142122648

image-20230526144357435

3. scrapy的代理

image-20230526144951061

posted @   yub4by  阅读(25)  评论(0)  编辑  收藏  举报
相关博文：
· scrapy：快速入门
· scrapy：当当网案例
· 日志信息和日志等级
· 爬虫_scrapy_日志信息以及日志等级
· scrapy基本配置
阅读排行：
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单，K8s 太复杂？w7panel 让容器管理更轻松！
点击右上角即可分享
微信分享提示