关于scrapy无法使用代理ip的问题
scrapy使用本机的ip可以正常进行爬取数据,但是使用代理ip就会报错:由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。可以确定使用的代理ip是没有问题的,访问的网站也没有问题。在网上搜索了很多也没有解决,困扰很久,目前猜想可能是安装的杀毒软件的问题,防火墙的关系有可能,还有一种可能就是scrapy这个王八蛋对ip的质量要求较高。。。。。唉
scrapy使用本机的ip可以正常进行爬取数据,但是使用代理ip就会报错:由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。可以确定使用的代理ip是没有问题的,访问的网站也没有问题。在网上搜索了很多也没有解决,困扰很久,目前猜想可能是安装的杀毒软件的问题,防火墙的关系有可能,还有一种可能就是scrapy这个王八蛋对ip的质量要求较高。。。。。唉
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义