寒假生活指导07
今天学习了爬虫
# 导入所需库 import urllib.request from lxml import etree # 设置目标URL和请求头信息,模拟Chrome浏览器访问 url = 'https://www.baidu.com/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } # 创建一个Request对象并定制请求头 request = urllib.request.Request(url=url, headers=headers) # 使用urllib.request.urlopen()方法发送请求并获取服务器响应 response = urllib.request.urlopen(request) # 读取服务器返回的网页内容,并以UTF-8编码解码为字符串 webpage_content = response.read().decode('utf-8') # 使用lxml.etree库解析HTML内容 html_tree = etree.HTML(webpage_content) # 使用xpath语法定位到指定元素(例如:获取搜索框的value值) target_element_value = html_tree.xpath('//input[@id="su"]/@value')[0] target_element_values = html_tree.xpath('//input[@id="su"]/@type')[0] # 打印获取的结果 print(target_element_values)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通