240
我爱毛绒绒~~~~~~~

爬虫各种问题总结方案

selenium报错

  • selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable
    可能是代码中没有全屏,元素没有加载全
    baiduweb = webdriver.Chrome(service=Service('chromedriver.exe'))
    baiduweb.implicitly_wait(10)

    baiduweb.get('https://zhidao.baidu.com/list?cid=110')
    baiduweb.maximize_window()   #全屏显示
  • selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
    find_elements列表for循环,元素过期
  questions_list = baiduweb.find_elements(By.CLASS_NAME,'question-list-item')
  for i in range(len(questions_list)):
      title = baiduweb.find_elements(By.CLASS_NAME, 'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').text
      baiduweb.find_elements(By.CLASS_NAME,'question-list-item')[i].find_element(By.CLASS_NAME,'title-link').click()   #重新定位当前页面的元素

Srapy框架

  • 新创建了爬虫项目,要在新的目录底下创建爬虫,否则爬虫项目会在默认目录

  • 新建爬虫项目之后,无法在对应目录生成爬虫,可以试试将爬虫路径加到边境变量

posted @   水开白  阅读(18)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
点击右上角即可分享
微信分享提示