增补博客 第十二篇 python大作业小说阅读器（1）爬取

合集 - python(25)

1.增补博客 第二篇 python 谢宾斯基三角型字符分形图形输出2024-06-142.增补博客 第三篇 python 英文统计2024-06-143.增补博客 第四篇 python 中文级联菜单2024-06-144.增补博客 第五篇 python 电子算盘2024-06-145.增补博客 第六篇 python 电子算盘2024-06-146.增补博客 第七篇 python 比较不同Python图形处理库或图像处理库的异同点2024-06-147.增补博客 第八篇 python 中国大学排名数据分析与可视化2024-06-148.增补博客 第九篇 python 图书评论数据分析与可视化2024-06-149.增补博客 第十篇 python 函数图形绘制2024-06-1410.增补博客 第十一篇 python 分段函数图形绘制2024-06-14

11.增补博客 第十二篇 python大作业小说阅读器（1）爬取2024-06-14

12.增补博客 第十三篇 python大作业小说阅读器（2）爬取2024-06-1413.增补博客 第十四篇 python大作业小说阅读器（3）显示文字函数2024-06-1414.增补博客 第十五篇 python大作业小说阅读器（4）html页面2024-06-1415.增补博客 第十七篇 python 模拟页面调度LRU算法2024-06-1416.增补博客 第十八篇 python 杨辉三角形2024-06-1417.增补博客 第二十篇 python 筛法求素数2024-06-1418.增补博客 第二十一篇 python 查找鞍点2024-06-1419.增补博客 第二十四篇 python 正整数的因子展开式2024-06-1420.增补博客 第二十二篇 python 牛顿迭代法2024-06-1421.增补博客 第二十三篇 python 对比Python中的列表、元组、字典、集合、字符串等之间异同2024-06-1422.增补博客 第十九篇 python 爬楼梯2024-06-1423.增补博客 第一篇 python 简易带参计算器2024-06-1424.增补博客 第十六篇 python 排列组合序列2024-06-1425.增补博客 第二十五篇 python 列举说明Python同Java及C++的不同之处2024-06-14

收起

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52

python 大作业 小说阅读器 这个代码是用来爬取下载小说的<br># 导入所需的库 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from lxml import html import time  # 导入 time 模块   # 创建一个 Edge 的 WebDriver 实例 driver = webdriver.Edge()   # 打开网页 driver.get("https://www.bqg88.cc/finish/")   roll = 500 while True:     h_before = driver.execute_script('return document.documentElement.scrollTop')     time.sleep(1)     driver.execute_script(f'window.scrollTo(0,{roll})')     time.sleep(1)     h_after = driver.execute_script('return document.documentElement.scrollTop')     roll += 500     print(h_after, h_before)     if h_before == h_after:         break   # 等待页面内容加载完成 wait = WebDriverWait(driver, 2) # 更改等待条件为判断页面是否加载完成 wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="item"]')))   # 获取页面的 HTML 内容 page_source = driver.page_source   # 使用 lxml 解析 HTML tree = html.fromstring(page_source)   # 使用 XPath 提取作者、标题和链接 authors = tree.xpath('//div[@class="item"]/dl/dt/span/text()') book_titles = tree.xpath('//div[@class="item"]/dl/dt/a/text()') links = tree.xpath('//div[@class="item"]/dl/dt/a/@href')   # 将爬取的数据存入文件 file_path = "..//分类小说链接记录//完本.txt" with open(file_path, "w", encoding="utf-8") as f:     for author, title, link in zip(authors, book_titles, links):         f.write(f"作者: {author.strip()}\n")         f.write(f"书名: {title.strip()}\n")         f.write(f"链接: {link}\n\n")   # 关闭浏览器 driver.quit()