scrapy：日志和post请求

1. scrapy的日志信息设置

image-20230526133228313

配置文件settings.py设置：
默认的级别为DEBUG，会显示上面所有的信息
LOG_FILE : 将屏幕显示的信息全部记录到文件中，屏幕不再显示，注意文件后缀一定是.log
LOG_LEVEL : 设置日志显示的等级，就是显示哪些，不显示哪些

image-20230526134528146

image-20230526134812739

image-20230526135024272

image-20230526135151415

并没有正常打印，并且提示被百度反爬了，需要设置一下（settings.py）

可以看到正常情况下日志比较多，顺便设置一下

image-20230526135646553

image-20230526135706720

2. scrapy的post请求

image-20230526135911821

image-20230526140449850

image-20230526141044520

image-20230526140954834

image-20230526141938190

image-20230526142019769

image-20230526142122648

image-20230526144357435

3. scrapy的代理

image-20230526144951061

posted @ 2023-05-26 14:50  yub4by  阅读(21)  评论(0)  编辑  收藏  举报