摘要: 在NLP任务中,输入的大多是一个句子,多个句子组成一个batch。模型本身不能直接处理文本,所以需要先把文本转化成数字。流程大多数是: 分词->构建词表->词嵌入 分词 分词是将一个句子拆分成一个个单词/短语,这些单词/短语称为token,分词被叫做tokenize。 tokenize的粒度有wor 阅读全文
posted @ 2022-07-29 18:09 王冰冰 阅读(518) 评论(0) 推荐(0)
摘要: 用conda安装新版transformers后,啪,报了个错 ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /data/jcdu/miniconda3/envs/ma 阅读全文
posted @ 2022-07-28 18:20 王冰冰 阅读(1720) 评论(0) 推荐(0)
摘要: 查找方法:先在.minecraft\assets\index\1.18.json中查找minecraft/lang/zh_cn.json,然后根据hash在.minecraft\assets\objects里面找对应的文件。 比如这里是9fabbc798786c7b7364902b31bdb37c2 阅读全文
posted @ 2022-07-26 10:21 王冰冰 阅读(7430) 评论(0) 推荐(0)
摘要: 参考:FFmpeg精准时间切割视频文件 - 知乎 视频+音频: ffmpeg -i <input_file> -ss <start_time> -t <duration> -c:a <audio_codec> -c:v <video_codec> <output_file> 仅音频: ffmpeg 阅读全文
posted @ 2022-07-26 10:19 王冰冰 阅读(1004) 评论(0) 推荐(0)
摘要: Paper/Spigot/Bukkit 以下插件无特殊说明仅需服务器安装 功能性插件 InteractionVisualizer 显示掉落物品消失时间的插件 此插件需要前置插件ProtocolLib 注意:此插件可能会对服务器造成较高的负担,如果卡顿建议去除 LuckPerms 权限插件,是各种需要 阅读全文
posted @ 2022-07-21 12:46 王冰冰 阅读(9082) 评论(0) 推荐(0)
摘要: 看了一些文章,实在是跟婆娘的裹脚,又臭又长,解释的倒是正确,但是那么长很容易吓退看文章的人,况且写的也不那么清晰,ABC来回都混淆了。 ssh总共有3种转发模式,分别是 -D: 动态端口转发,这玩意用来做socks proxy,此处不写。 -L:访问本地端口 == 远程端口 -R:访问远程端口 == 阅读全文
posted @ 2022-07-21 11:10 王冰冰 阅读(136) 评论(0) 推荐(0)
摘要: 发送指定按键到tmux的特定会话: tmux send-keys [-t <session-name>] <key> key的取值参考tmux man手册: When specifying keys, most represent themselves (for example 'A' to 'Z' 阅读全文
posted @ 2022-07-13 13:30 王冰冰 阅读(1167) 评论(0) 推荐(0)
摘要: huggingface模型下载 transformers的预训练模型下载到本地特定位置,默认是在~/.cache/huggingface/transformers model = GPT2LMHeadModel.from_pretrained('gpt2', cache_dir="...") 想知道 阅读全文
posted @ 2022-05-19 10:12 王冰冰 阅读(860) 评论(0) 推荐(0)
摘要: 交叉熵损失,会自动给输出的logits做softmax,然后和真是标签计算交叉熵,然后再取相反数 https://zhuanlan.zhihu.com/p/383044774 CrossEntropyLoss(y_hat, y_truth) = -sum(y_truth_one_hot * log( 阅读全文
posted @ 2022-05-17 14:13 王冰冰 阅读(170) 评论(0) 推荐(0)
摘要: pytorch如何保存与加载训练模型 - 简书 Pytorch冻结部分层的参数 - 简书 剪枝 (论文 + 代码)_看不见我呀的博客-CSDN博客_剪枝代码 Pytorch 剪枝操作实现 - 虾野百鹤 - 博客园 pytorch官方的剪枝教程(推荐,简单明了,比看别人的博客好的多) Pruning 阅读全文
posted @ 2022-05-16 20:36 王冰冰 阅读(34) 评论(0) 推荐(0)