增补博客 第十二篇 python大作业小说阅读器(1)爬取
1.增补博客 第二篇 python 谢宾斯基三角型字符分形图形输出2.增补博客 第三篇 python 英文统计3.增补博客 第四篇 python 中文级联菜单4.增补博客 第五篇 python 电子算盘5.增补博客 第六篇 python 电子算盘6.增补博客 第七篇 python 比较不同Python图形处理库或图像处理库的异同点7.增补博客 第八篇 python 中国大学排名数据分析与可视化8.增补博客 第九篇 python 图书评论数据分析与可视化9.增补博客 第十篇 python 函数图形绘制10.增补博客 第十一篇 python 分段函数图形绘制
11.增补博客 第十二篇 python大作业小说阅读器(1)爬取
12.增补博客 第十三篇 python大作业小说阅读器(2)爬取13.增补博客 第十四篇 python大作业小说阅读器(3)显示文字函数14.增补博客 第十五篇 python大作业小说阅读器(4)html页面15.增补博客 第十七篇 python 模拟页面调度LRU算法16.增补博客 第十八篇 python 杨辉三角形17.增补博客 第二十篇 python 筛法求素数18.增补博客 第二十一篇 python 查找鞍点19.增补博客 第二十四篇 python 正整数的因子展开式20.增补博客 第二十二篇 python 牛顿迭代法21.增补博客 第二十三篇 python 对比Python中的列表、元组、字典、集合、字符串等之间异同22.增补博客 第十九篇 python 爬楼梯23.增补博客 第一篇 python 简易带参计算器24.增补博客 第十六篇 python 排列组合序列25.增补博客 第二十五篇 python 列举说明Python同Java及C++的不同之处1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 | python 大作业 小说阅读器 这个代码是用来爬取下载小说的<br> # 导入所需的库 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from lxml import html import time # 导入 time 模块 # 创建一个 Edge 的 WebDriver 实例 driver = webdriver.Edge() # 打开网页 driver.get( "https://www.bqg88.cc/finish/" ) roll = 500 while True : h_before = driver.execute_script( 'return document.documentElement.scrollTop' ) time.sleep( 1 ) driver.execute_script(f 'window.scrollTo(0,{roll})' ) time.sleep( 1 ) h_after = driver.execute_script( 'return document.documentElement.scrollTop' ) roll + = 500 print (h_after, h_before) if h_before = = h_after: break # 等待页面内容加载完成 wait = WebDriverWait(driver, 2 ) # 更改等待条件为判断页面是否加载完成 wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="item"]' ))) # 获取页面的 HTML 内容 page_source = driver.page_source # 使用 lxml 解析 HTML tree = html.fromstring(page_source) # 使用 XPath 提取作者、标题和链接 authors = tree.xpath( '//div[@class="item"]/dl/dt/span/text()' ) book_titles = tree.xpath( '//div[@class="item"]/dl/dt/a/text()' ) links = tree.xpath( '//div[@class="item"]/dl/dt/a/@href' ) # 将爬取的数据存入文件 file_path = "..//分类小说链接记录//完本.txt" with open (file_path, "w" , encoding = "utf-8" ) as f: for author, title, link in zip (authors, book_titles, links): f.write(f "作者: {author.strip()}\n" ) f.write(f "书名: {title.strip()}\n" ) f.write(f "链接: {link}\n\n" ) # 关闭浏览器 driver.quit() |
合集:
python
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix