摘要：
用conda安装python3.7的环境，出现错误 (base) ➜ CodeAnalysis git:(main) ✗ conda create -n CodeAnalysis3.7 python=3.7 Collecting package metadata (current_repodata. 阅读全文
摘要：
Problem：Solution:帮助/编辑自定义属性加一行：idea.max.intellisense.filesize = 99999 阅读全文
摘要：
| Time| Org | Model |Language|Model Scale | Data Scale | Training Time |Training GPU|Inference GPU |Sequence Length| | | | | | | | | | | | | 2022.07 | 阅读全文
摘要：
Both "indexes" and "indices" are acceptable plural forms of the word "index" or to refer to more than one index. Index is one of those rare words that 阅读全文
摘要：
在消耗算力上，Transformers 结构包括三部分的操作符，了解这些知识可以帮助分析性能瓶颈。 一、张量缩并 Tensor Contractions 线性层和多头注意力组件都要进行批量矩阵-矩阵乘法。这些操作是训练Transformer中最compute-intensive的部分。 二、统计归一 阅读全文
摘要：
参考https://readdevdocs.com/blog/makemoney/%E8%A7%A3%E5%86%B3%E8%AE%BF%E9%97%AE%E6%8F%90%E7%A4%BAAccess%20denied%EF%BC%8CYou%20do%20not%20have%20access% 阅读全文
摘要：
运行 train.to_csv(train_path, sep='\t', escapechar='\\', index=False, header=False, doublequote=False) 出现如下错误 File "pandas/_libs/writers.pyx", line 72, 阅读全文
摘要：
LangChain是什么 经过了chatGPT，大家都知道了prompt-based learning，也明白了prompt在生成式模型的重要性。假设问答任务要用prompt A, 摘要生成任务要用prompt B，那么如何管理不同的prompt呢？ Langchain主要的功能就是集成管理prom 阅读全文
摘要：
list of string to pandas 存储为csv的时候在句子前面的每一行都出现双引号 0 "今天的天气不错。 " "花儿开了，草儿绿了。 " "大家脸上都喜气洋洋。 " "很多人都去野营、放风筝。 " 改为 train.to_csv(train_path, sep='\t', inde 阅读全文
摘要：
一、单机单卡训练 1. 基本概念 芯片的内存 模型训练时的内存主要消耗在： 神经元的中间值 参数值（包括权重、梯度值和优化器的状态值） 2. 优化方法 单卡速度主要由单块AI加速芯片的运算速度、数据IO来决定。 优化方法：可以用激活重计算这个方法来进行优化。 具体操作为： 在网络中标记少量的算子 ， 阅读全文