摘要：
github地址：https://github.com/zhanghang1989/ResNeSt 论文地址：https://hangzhang.org/files/resnest.pdf 2020.06.23 张航视频讲解ResNeSt：https://www.bilibili.com/video 阅读全文
摘要：
前面已经讲过： 怎么让英文大语言模型支持中文？（一）构建中文tokenization 怎么让英文大语言模型支持中文？（二）继续预训练 这里是最后一部分了：怎么让英文大语言模型支持中文？（三）对预训练模型进行指令微调。 代码已上传到github： chinese_llm_sft Part1前言 在之前 阅读全文
摘要：
代码已上传到github： https://github.com/taishan1994/chinese_llm_pretrained Part1前言 前面我们已经讲过怎么构建中文领域的tokenization： https://zhuanlan.zhihu.com/p/639144223 接下来我 阅读全文
摘要：
代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里 阅读全文
摘要：
对应关系： https://docs.anaconda.com/free/anaconda/reference/packages/oldpkglists/ 国内下载地址： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D 1 阅读全文
摘要：
下载python 网址：https://mirrors.huaweicloud.com/python/ 这里以安装python3.7.1为例： wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 编译和安装python pref 阅读全文
摘要：
Part1基本介绍 大语言模型目前一发不可收拾，在使用的时候经常会看到transformers库的踪影，其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中，接下来我们就来聊聊transformers库中的一些基本任务。 这里以三类模型为例：be 阅读全文
摘要：
Part1配置及参数 transformers==4.28.1 源码地址：transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com) 文档地址：Generation (huggingfa 阅读全文
摘要：
登录:https://colab.research.google.com/github/ 将github上的ipynb文件路径复制到框里面即可。 阅读全文
摘要：
pytorch在有限的资源下部署大语言模型（以ChatGLM-6B为例） Part1知识准备 在PyTorch中加载预训练的模型时，通常的工作流程是这样的： my_model = ModelClass(...)state_dict =torch.load(checkpoint_file) 用简单的话 阅读全文
摘要：
讲在前面，chatgpt出来的时候就想过将其利用在信息抽取方面，后续也发现了不少基于这种大语言模型的信息抽取的论文，比如之前收集过的： https://github.com/cocacola-lab/GPT4IEhttps://github.com/RidongHan/Evaluation-of-C 阅读全文
