随笔分类 -  爬虫

[Selenium] beautifulSoup找不到元素
摘要：问题：页面F12可以定位元素，但把网页下载到本地，无法定位 2种原因： 1、内容在一个标签中，放在json字符串里 # 内容在input里 inputInfo = soup.find_all('input')[3]['value'] #页面所有内容 xmInfo = json.loads(input 阅读全文
posted @ 2023-06-15 16:23 *飞飞* 阅读(105) 评论(0) 推荐(0) 编辑
[Selenium] beautifulSoup查找元素常用汇总
摘要：0、初始化： from bs4 import BeautifulSoup pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 1、标签名定位 方法1： soup.body 方法2： li.sel 阅读全文
posted @ 2023-06-15 16:12 *飞飞* 阅读(481) 评论(0) 推荐(0) 编辑
爬虫常用方法
摘要：1. selenium转beautifulsoup: pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 2. bs4 查找页面内容： resultPages = soup.find(text= 阅读全文
posted @ 2023-04-20 15:45 *飞飞* 阅读(22) 评论(1) 推荐(0) 编辑