链接拼接的方法(用于解决同一个脚本返回两种不同的url链接的问题)
实例一:
上图所示
爬虫返回的链接有一部分带有http前缀,有一部分没有,且也不知道具体哪些链接会出现没有前缀的情况
后面如果通过返回链接进行再次访问,那么肯定会出现报错的问题
思路:
判断 返回值内是否包含某内容
比如判断返回值是否含有“www”
如果有,则跳过,没有则加上前缀 构造链接
代码如下:
if "www" in url: url2 = url else: url2 ="https://www.xxx.com" +url
当返回链接包含www的时候,链接不需要拼接,直接访问
当返回链接不包含www的时候,链接需要拼接,带上前缀后再访问
实例二:
比如,某地址,请求链接为:
http://doctor.10jqka.com.cn/601238/
后面的“601238”是请求中带入的数据,因数据不同,请求后返回的结果不同
所以,讲这一数据做成变量,以便统一配置,具体写法下图红色箭头标识
书写模板 ‘内容’+变量+‘内容’
具体内容需要写在‘’内,变量不需要
除了链接拼接,参数拼接也是同一种方法