寒假打卡23-2月10日

合集 - 大三寒假(27)

1.寒假打卡02_1月14日01-142.寒假打卡01_1月13日01-133.寒假打卡03_1月15日01-154.寒假打卡04_1月16日01-165.寒假打卡05_1月17日01-176.寒假打卡06_1月18日01-187.寒假打卡07——1月20日01-208.寒假打卡08-1月21日01-219.寒假打卡09-1月22日01-2210.寒假打卡10-1月3日01-2311.寒假打卡11-1月24日01-2412.寒假打卡12-1月27日01-2713.寒假打卡13-1月28日01-2814.寒假打卡14-1月29日2024-12-2915.寒假打卡15-1月30日01-3016.寒假打卡16-1月31日01-3117.寒假打卡17-2月3日02-0318.寒假打卡18-2月4日02-0419.寒假打卡19-2月5日02-0520.寒假打卡20-2月6日02-0621.寒假打卡21-2月7日02-0722.寒假打卡22-2月8日02-08

23.寒假打卡23-2月10日02-10

24.寒假打卡24-2月11日02-1125.寒假打卡25-2月12日02-1226.寒假打卡26-2月13日02-1327.寒假打卡27-2月14日02-14

收起

动态网页爬取

在本篇文章中，我们将介绍如何处理动态网页爬取。传统的爬虫方法可能无法获取动态加载的内容，因为这些内容通常由 JavaScript 在浏览器中执行后生成。为了解决这个问题，我们可以使用一些工具和技术，如 selenium、pyppeteer 和 requests 结合 execjs 执行 JavaScript。

1. 使用 Selenium 自动化爬取

Selenium 是一个用于自动化 Web 浏览器的工具，可以模拟用户操作（如点击、输入等）并获取动态加载的内容。

安装 Selenium

首先，我们需要安装 Selenium 和浏览器驱动程序（如 ChromeDriver）。可以使用以下命令通过 pip 安装：

pip install selenium

下载浏览器驱动程序

请根据你的浏览器下载相应的驱动程序并将其添加到系统路径中。例如，使用 Chrome 浏览器时，可以从 ChromeDriver 官网 下载 ChromeDriver。

基本用法

使用 Selenium 打开网页并获取动态加载的内容。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager

# 设置 ChromeDriver 的选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式
chrome_options.add_argument("--disable-gpu")

# 启动 Chrome 浏览器
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=chrome_options)

# 打开网页
driver.get('http://example.com')

# 等待元素加载
driver.implicitly_wait(10)

# 获取动态加载的内容
element = driver.find_element(By.CSS_SELECTOR, 'div.dynamic-content')
print(element.text)

# 关闭浏览器
driver.quit()

2. 使用 Pyppeteer 爬取

Pyppeteer 是 Puppeteer 的 Python 版，它提供了类似的功能，可以控制无头浏览器并获取动态加载的内容。

安装 Pyppeteer

可以使用以下命令通过 pip 安装：

pip install pyppeteer

基本用法

使用 Pyppeteer 打开网页并获取动态加载的内容。

import asyncio
from pyppeteer import launch

async def main():
    # 启动无头浏览器
    browser = await launch(headless=True)
    page = await browser.newPage()

    # 打开网页
    await page.goto('http://example.com')

    # 等待元素加载
    await page.waitForSelector('div.dynamic-content')

    # 获取动态加载的内容
    content = await page.querySelectorEval('div.dynamic-content', 'element => element.textContent')
    print(content)

    # 关闭浏览器
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())

3. 使用 Requests 和 Execjs 执行 JavaScript

在某些情况下，我们可以直接在 Python 中执行 JavaScript 代码来获取动态内容。requests 库可以用于发送 HTTP 请求，而 execjs 库可以用于执行 JavaScript 代码。

安装 Execjs

可以使用以下命令通过 pip 安装：

pip install execjs

基本用法

使用 requests 发送请求并使用 execjs 执行 JavaScript 代码。

import requests
import execjs

# 发送 HTTP 请求
response = requests.get('http://example.com')
html = response.text

# 定义 JavaScript 代码
js_code = """
function getDynamicContent(html) {
    // 在浏览器中执行 JavaScript 代码，获取动态内容
    var dynamicContent = '...';  // 示例代码，实际应根据需要修改
    return dynamicContent;
}
"""

# 编译并执行 JavaScript 代码
context = execjs.compile(js_code)
dynamic_content = context.call('getDynamicContent', html)
print(dynamic_content)

4. 处理验证码

在某些网站上，验证码是防止自动化爬取的一种常见手段。我们可以使用打码平台或机器学习模型来识别验证码。

使用打码平台

打码平台提供了自动识别验证码的服务。我们可以使用打码平台的 API 来识别验证码。

使用机器学习模型

我们还可以训练机器学习模型来识别验证码。常用的机器学习库包括 TensorFlow 和 PyTorch。

总结

在本篇文章中，我们介绍了如何处理动态网页爬取，包括使用 selenium、pyppeteer 和 requests 结合 execjs 执行 JavaScript。此外，我们还讨论了处理验证码的方法。通过掌握这些知识，你能够应对复杂的动态网页爬取任务。接下来，我们将探讨数据存储的相关内容，敬请期待！