trafilatura python web 数据获取库

trafilatura python web 数据获取库，比较适合进行爬虫，数据提取，支持输出数据为csv，json，html，md，txt，xml

包含的特性

• 高级web 爬虫以及文本发现
• 并行处理在线以及离线输入内容
• 灵活的配置支持，包含了元数据，格式，链接，表格
• 多输出格式，包含了文本，markdown，json，html，xml
• 额外扩展，支持语言检测，gui，速度优化

参考使用

集成了tenacity 的一个示例

• demo.py

主要是集成了tenacity retry 能力，测试trafilatura 的web content markdown 效果，因为实际我们进行爬取肯定会有异常的，这样能提升数据爬取的质量

from trafilatura import extract,fetch_url

 

from  tenacity import *

 

def content(url:str):

    downloaded = fetch_url(url)

    result  = extract(downloaded,include_images=True, output_format="markdown", with_metadata=True)

    print(result)

    return  {

        'result': result,

        'title': "rongfengliang-荣锋亮",

    }

 

 

def return_last_value(retry_state):

    print("return_last_value",retry_state)

    return retry_state.outcome.result()

 

def is_rongfengliang(content):

    print("is_rongfengliang",content)

    return content is not None and content.get("title") =="rongfengliang-荣锋亮"

 

# will return False after trying 3 times to get a different result

@retry(

       stop=stop_after_attempt(3),

       retry_error_callback=return_last_value,

       retry=retry_if_result(is_rongfengliang))

def eventually_return_false():

    result = content("https://www.cnblogs.com/rongfengliang/p/18280856")

    return result

 

 

return_last_value = eventually_return_false()

 

print("return_last_value",return_last_value)

说明

在基于RAG 的系统开发中，如何提升web content 内容的质量数据提取，内容格式都是比较重要的，trafilatura 是一个值得尝试的工具，效果还是很不错的，对于html 中噪音可以很好的处理

参考资料

https://github.com/adbar/trafilatura
https://trafilatura.readthedocs.io/en/latest/
https://github.com/jd/tenacity
http://tenacity.readthedocs.io/