一些基于LLM可以进行web 检索的开源工具
简单记录下，目前不少内部都会使用到langchain（毕竟提供了不少现在方便的工具包装） ，同时对于web 内容处理很多也会选择基于无头浏览器模式，对于html 内容为了方便llm 处理好多框架会优先转换为markdown 格式的，对于长内容同时也会进行chunk 拆分，规避大模型上下文限制问题
说明
目前对于web 内容检索处理上，选择基于现成的搜索api 的也比较多，此类支持搜索的api 服务相比传统搜索引擎强大不少，如果需要自己集成一些开源的searxng 是一个不错的选择，包含了rest api 可以方便使用
参考资料
https://github.com/unclecode/crawl4ai
https://github.com/ScrapeGraphAI/Scrapegraph-ai
https://github.com/mendableai/firecrawl
https://github.com/crewAIInc/crewAI
https://github.com/trancethehuman/entities-extraction-web-scraper
https://docs.searxng.org/dev/search_api.html
https://github.com/searxng/searxng
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
2021-09-05 dremio create table 几个特殊的能力
2021-09-05 dremio 内置support key 说明
2021-09-05 dremio 反射支持小于小时的处理
2020-09-05 linux free 内存计算的核心处理代码
2020-09-05 mapstruct基于注解驱动的bean 转换工具
2020-09-05 默认service account 引起pv 挂载问题