07 2020 档案

对微博进行爬虫的时候，一定要注意一下访问频率
摘要：基本测试脚本（python）： import time,requests def test_ip_freq(freq): if freq==0: return #测试1分钟 delay=1/freq t0=time.time() requests_num=0 status="success" whi 阅读全文
posted @ 2020-07-27 12:12 xunhanliu 阅读(1551) 评论(0) 推荐(0) 编辑
我的VSC 安装的插件及配置
摘要：setting.json { "editor.detectIndentation": false, "files.autoSave": "onWindowChange", // "eslint.autoFixOnSave": true, "files.associations": { "*.vue" 阅读全文
posted @ 2020-07-21 14:32 xunhanliu 阅读(390) 评论(0) 推荐(0) 编辑
返回码418，scrapy 重新请求
摘要：问题情景： scrapy爬取网页，返回值418（按照请求来说，是一个完整的网络请求）。说明此接口已经被后台爬虫检测程序检测到了。 通过研读scrapy文档，在自定义的418检测下载中间件里面，process_response中检测返回值，并设置request的http/https代理,然后retur 阅读全文
posted @ 2020-07-08 18:42 xunhanliu 阅读(1051) 评论(0) 推荐(0) 编辑

    点击右上角即可分享
    微信分享提示