Fork me on GitHub
2023年6月24日
怎么让英文大预言模型支持中文？（一）构建自己的tokenization
摘要： 代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里 阅读全文
posted @ 2023-06-24 10:44 西西嘛呦 阅读(2096) 评论(0) 推荐(0) 编辑