爬虫各种问题总结方案
selenium报错
- selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable
可能是代码中没有全屏,元素没有加载全
baiduweb = webdriver.Chrome(service=Service('chromedriver.exe'))
baiduweb.implicitly_wait(10)
baiduweb.get('https://zhidao.baidu.com/list?cid=110')
baiduweb.maximize_window() #全屏显示
- selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
find_elements列表for循环,元素过期
questions_list = baiduweb.find_elements(By.CLASS_NAME,'question-list-item')
for i in range(len(questions_list)):
title = baiduweb.find_elements(By.CLASS_NAME, 'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').text
baiduweb.find_elements(By.CLASS_NAME,'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').click() #重新定位当前页面的元素
Srapy框架
-
新创建了爬虫项目,要在新的目录底下创建爬虫,否则爬虫项目会在默认目录
-
新建爬虫项目之后,无法在对应目录生成爬虫,可以试试将爬虫路径加到边境变量
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性