会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
石头木
乾坤未定一切皆有可能
博客园
首页
新随笔
联系
订阅
管理
2024年1月13日
cleaning of llm corpus 大模型语料清洗
摘要: cleaning of llm corpus 大模型语料清洗 数据是人工智能领域发展的基础要素之一。随着大规模预训练模型及相关技术不断取得突破,在相应研究中使用高效数据处理工具提升数据质量变得越来越重要。llm_corpus_quality集成了包含清洗、敏感词过滤、广告词过滤、语料质量自动评估等功
阅读全文
posted @ 2024-01-13 20:22 石头木
阅读(821)
评论(0)
推荐(0)
编辑
公告