某小说网站之内容获取

 import requests
 
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cache-Control': 'no-cache',
    'Pragma': 'no-cache',
    'Proxy-Connection': 'keep-alive',
    'Referer': 'http://www.h528.com/',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
}
 
response = requests.get('http://www.h528.com/post/25126.html', headers=headers, verify=False)
html=etree.HTML(response.text)
href=html.xpath('//div[@class="entry"]/p/text()')
print(''.join(href))

posted @ 2024-04-21 15:20 萧海~ 阅读(26) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· 以下是一个使用C++实现HTTP文件下载的简单示例，其中使用了C++ 11的标准库和Boost库：

· py每日spider案例之某影视链接m3u8获取

· 小说下载器

· python实现爬取小说网站文本

· 浏览器http请求正常文件头打印信息

历史上的今天：
2021-04-21 Qt开发经验小技巧131-140
2021-04-21 Qt 在线程中使用EXCLE办法
2021-04-21 Qt 在线程中导出EXCLE报 CoCreateInstance failure (尚未调用 CoInitialize) 解决办法
2021-04-21 Qt 操作Excel错误：QAxBase: Error calling IDispatch member WorkSheets: Unknown error
2021-04-21 Qt中自定义qDebug打印信息的宏（文件名，行数，时间等等）
2021-04-21 QT应用编程:基于VLC开发音视频播放器(回调方式)
2021-04-21 QT应用编程:基于VLC开发音视频播放器(句柄方式)

公告

侧边栏

昵称：萧海~
园龄： 4年11个月
粉丝： 4
关注： 88

+加关注

2025年3月

日

一

二

三

四

五

六

萧海~

记录自己和别人的博客

某小说网站之内容获取

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

	import requests

	headers = {
	'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.7',
	'Accept-Language': 'zh-CN,zh;q=0.9',
	'Cache-Control': 'no-cache',
	'Pragma': 'no-cache',
	'Proxy-Connection': 'keep-alive',
	'Referer': 'http://www.h528.com/',
	'Upgrade-Insecure-Requests': '1',
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
	}

	response = requests.get('http://www.h528.com/post/25126.html', headers=headers, verify=False)
	html=etree.HTML(response.text)
	href=html.xpath('//div[@class="entry"]/p/text()')
	print(''.join(href))