摘要： excel2latex:在excel中编辑表格，放到latex中。 latex-code:在latex中编辑代码 阅读全文

摘要： 学习网站 这里会记录一些高质量的机器学习的网站。 国外： investopedia：看内容是一个投资网站，但是仍然看到一些技术文章。 medium：国外非常高质量的技术网站（细节讲的很多），有些是收费的。 HuggingFace-blog：HuggingFace的博客社区，中英文都有，介绍也很详细。 阅读全文

摘要： 博客资源 用于复习和巩固基础知识。 一、Transformer系列，早期论文： 经典文章的transformers的blog huggingface的教程 机器学习、深度学习 线性代数 word2vec AUC-ROC 二、论文配色网站 知乎网站 自定义色彩配置:colordot 色彩组配置:top 阅读全文

摘要： 背景 在使用Llama-3.2-1B时遇到一个关于pad_tokens经验不足的bug。没有指定pad_token的时候分词器会报错，这个使用有以下两种解决策略： 配一个新的token。 tokenizer.add_special_tokens({'pad_token': '[PAD]'}) mod 阅读全文

摘要： 背景 这里记录一下从HuggingFace上下载Llama模型的流程，方便后续使用。 注册账号 目前Llama的模型是需要提交申请才可以使用，因此需要先注册HuggingFace的账号。这里有两点需要注意。 用户名会用来登录：用户名会用作后续下载模型使用，因此需要使用一个自己方便记忆的名称。 用户名 阅读全文

摘要： 工具包 hyperref hyperref 包提供了多个颜色选项来定制文档中超链接的颜色： colorlinks=true：启用彩色链接（而不是边框）。 linkcolor：内部链接的颜色（例如，章节、节标题等之间的链接）。 anchorcolor：锚点的颜色（定义了但未被点击的链接）。 filec 阅读全文

摘要： 背景 在模型训练过程中，需要记录很多数据，例如损失值，评价指标，使用的参数等，这里介绍一下可以使用的工具，方便后续使用。 工具 Pandas + openpyxl：pandas 是一个强大的数据处理库，而 openpyxl 是一个用于读写 Excel 文件的库。你可以使用 pandas 来创建和操作 阅读全文

摘要： append错误 这个错误主要是由于，append是原地添加，并不会返回新的数组，因此，append之后再append，添加的结果为None。错误代码如下： # 这里的tokens_processing.append之后的返回了None，所以在使用processing_result.append时， 阅读全文

摘要： 升级nvcc 使用参考连接升级就可以了。 步骤： 1.下载驱动 可能会用到指令 # 查询服务器架构 uname -m # 查询服务器信息 cat /etc/os-release 2.根据网站选择驱动，直接按照指令下载即可。 3.运行之后，会出现界面，按照下面的流程选择就可以了 continue -> 阅读全文

摘要： 一、背景&解决策略 在使用环境时，有时候需要修改一下关于conda的位置，例如文件移动等，这个时候就需要重新配置conda的环境。 1.修改.bashrc中的文件 首先修改.bashrc中的配置重点是下面的这个，其他的都是默认的不用管 # >>> conda initialize >>> # !! 阅读全文

摘要： 问题描述&解决方案 问题 今天在创建用户的时候出现了以下的问题： Could not chdir to home directory xxx: Permission denied -bash: /xxx/.bash_profile: Permission denied 出现这个问题的主要原因是，我想 阅读全文

摘要： 模型参数量的计算公式 隐藏层大小为：\(d_{model}\) transformer的layer数：\(N\) 嵌入层大小为：\(V_{dim}\) transformer模型参数大小 = \(N\) * （12 * \(d_{model}^2\)+ 13*\(d_{model}\)）+ \(V_ 阅读全文