scrapy出现SSL问题 如何解决？ <twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', '', 'unsafe legacy renegotiation disabled')]>

问题：<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', '', 'unsafe legacy renegotiation disabled')]>

自从升级了python3.10 有些维护的网站就爬取不了了

报错如上
经分析 可知问题有2

没有添加请求头

只需要添加请求头即可

版本问题

需要查看自己两个库的版本
pyOpenSSL
cryptography

这两个库的版本必须完美卡在一个版本区间
比如 PyOpenSSL如果在21.0.0 以上 即失败
cryptography，如果安装最新也会失败

执行一下命令

pip install cryptography==3.4.8
pip install pyOpenSSL==21.0.0

然后重新执行我们的代码

完美执行。