lexn - 博客园

GPT前世今生-transformer

摘要： GPT前世今生-transformer 路线： hugging(tang）->transformer(tang）-> GPT2 NLP 中的transformer 都是分类问题 hugging中怎么查预训练模型。 FAQ 1 多头注意力机制中什么是key，value和query？答：在Tran 阅读全文

posted @ 2023-03-25 11:56 lexn 阅读(79) 评论(0) 推荐(0) 编辑

GPT前世今生-二刷论文

摘要： GPT前世今生-二刷论文 1 GPT3 专门网站提供api ，开放各种任务 2 GPT2怎么来的 transformer 编码器+解码器 -> GPT 只是使用了解码器 -> BERT 使用了编码器 -> GPT2 1）使用解码器 2）多任务学习变化带有prompt，提示词的标注。 zeros 阅读全文

posted @ 2023-03-24 10:11 lexn 阅读(319) 评论(0) 推荐(0) 编辑

：）关于transformers模型的保存与加载-|

摘要：关于transformers模型的保存与加载两种情况，自定义模型训练后保存， transformers预训练模型保存。参考代码 # -*- coding: utf-8 -*- import torch from transformers import GPT2LMHeadModel from 阅读全文

posted @ 2023-03-22 21:58 lexn 阅读(2263) 评论(0) 推荐(0) 编辑

基于GPT-2预训练模型chat 演示-代码说明

摘要：基于GPT-2预训练模型chat 演示-代码说明代码路径：shibing624/gpt2-dialogbot-base-chinese · Hugging Face 代码说明：4.MMI模型训练与生成_哔哩哔哩_bilibili 1 文本预处理下载语料 2 train 1 dataset 2 d 阅读全文

posted @ 2023-03-21 09:37 lexn 阅读(150) 评论(0) 推荐(0) 编辑

ChatGPT背后的算法——RLHF总结

摘要： ChatGPT背后的算法——RLHF总结参考链接：抱抱脸：ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文 (qq.com) 背景（文本生成的语言模型评价不在训练中) chatGPT训练4步骤 1 预训练 [prompt, text] 无监督，数据语料来源可能都是爬虫web 阅读全文

posted @ 2023-03-19 19:01 lexn 阅读(175) 评论(0) 推荐(0) 编辑

NLP-聊天机器人输入输出原理

摘要： NLP-聊天机器人输入输出原理后续会加载聊天机器人使用的transformer 更深入内部原理 import transformers import torch import os import json import random import numpy as np import argpa 阅读全文

posted @ 2023-03-09 08:26 lexn 阅读(127) 评论(0) 推荐(0) 编辑

NLP-transformer-分词库用法

摘要： NLP-transformer-分词库用法参考文档： https://blog.csdn.net/orangerfun/article/details/124089467 1 pip install transformer 2 下载专有的vocab.txt词典这个词典用于把单词-> id - 阅读全文

posted @ 2023-03-03 09:48 lexn 阅读(88) 评论(0) 推荐(0) 编辑

make编译工具教程

摘要： make编译工具教程背景 CC++编译起来目录结构多的情况需要脚本完成搜索编译-> make 第一课第三课 makefile常用编程语法： 1 pipe管道符号，用;把命令相连接。这样就一条命令结果应用在下一条命令中。 CD -- ；pwd 与 cd --； pwd 结果不一样 2 用-在命阅读全文

posted @ 2023-03-02 20:48 lexn 阅读(49) 评论(0) 推荐(0) 编辑

工程能力-远程JUNO-linux

摘要：工程能力-远程JUNO-linux 1 ping 通linux 地址 2 ssh/scp 连接/传输数据 ssh root@10.188.72.42 scp -P 22 README.md root@10.188.72.42:~/Desktop 问题：root密码输入， Permission den 阅读全文

posted @ 2023-03-01 10:27 lexn 阅读(21) 评论(0) 推荐(0) 编辑

chatGPT-meta抗衡版本

摘要： chatGPT-meta抗衡版本链接：https://mp.weixin.qq.com/s/MbZTfVgxx221Eo9pl1h80w 内置 git代码 LLaMA 项目地址：https://github.com/facebookresearch/llama LLaMA 论文地址：https:/ 阅读全文

posted @ 2023-02-28 09:34 lexn 阅读(54) 评论(0) 推荐(0) 编辑