爬虫爬到read more 或者read full article的解决方法

1、两种思路：

①不要去做渲染，也就是直接请求原始页面。然后用lxml或者BS去做解析。

②使用Selenium模拟浏览器请求，然后再做解析。

 

 

2、问题python requests (Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:1
requests==2.24.0安装这个版本,最新版有问题