CSDN博客地址

提取新闻网站信息

分享一个爬取新闻类信息得Python库: GeneralNewsExtractor(GNE),也可以认为是通用新闻网站正文抽取模块,输入新闻详情页面得的 HTML信息, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等中文新闻网站信息时均可以正确提取出来。

使用该模块不是爬取数据而是为了提取数据。

使用Ctrl+u快捷键获取新闻详细信息的HTML源码。

1:安装gne库: pip install gne
2:代码提取内容

from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()
html = """新闻详情页的HTML源码"""
result = extractor.extract(html)
print(result)

结果如下:
在这里插入图片描述

posted @ 2020-05-06 15:11  Yi_warmth  阅读(172)  评论(0编辑  收藏  举报
CSDN博客地址