09 2023 档案
摘要：Sentencepiece是google开源的文本Tokenzier工具，其主要原理是利用统计算法，在语料库中生成一个类似分词器的工具，外加可以将词token化的功能；对比开源的分词器，它会将频繁出现的字符串作为词，然后形成词库进行切分，所以它会切分的粒度会更大些。当前各个大模型的分词器基本都是基于
阅读全文
摘要：难点：由于langchain采用的是硬切分文档的方式，导致文档分割不够准确，例如：在文档中若有分点描述的情况，对文档硬性分割后，会把各个重点分隔开，导致后续向量召回时，片段是残缺的。如： 如果硬性分割文档，则在召回阶段拿不到所有的通知信息。 解决方案：考虑使用语义分析的方式来分割文档，BERT模型训
阅读全文
