随笔分类 - 大模型
摘要:export CUDA_HOME=/usr/local/cuda-11.7 export PATH=$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH source ~/.bashrc # 如果你
阅读全文
摘要:export HF_ENDPOINT=https://hf-mirror.com pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
阅读全文
摘要:转载:https://zhuanlan.zhihu.com/p/667508306
阅读全文
摘要:制作数据集 from sklearn.metrics import accuracy_score, f1_score from sklearn.linear_model import LogisticRegression import datasets import numpy as np impo
阅读全文
摘要:转载:https://blog.csdn.net/chumingqian/article/details/138339481?ops_request_misc=%257B%2522request%255Fid%2522%253A%252239F9C14D-9496-4B47-98DE-481CF29
阅读全文
摘要:转载:https://zhuanlan.zhihu.com/p/715241324
阅读全文
摘要:huggingface_hub.errors.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/onechart_weights_path/'. Use `repo_type`
阅读全文
摘要:NotImplementedError: Using RTX 3090 or 4000 series doesn't support faster communication broadband via P2P or IB. Please set NCCL_P2P_DISABLE="1" and N
阅读全文
摘要:解决方案是在torchrun中添加参数--master_port改变master port。且注意这个参数一定要加在要跑的文件即src/entry_point/train.py之前,否则会被忽略。 引用:https://juejin.cn/post/7260668104752775228 我的代码是
阅读全文
摘要:1.先安装pipx。 2.然后用pipx安装poetry。 pipx install poetry 3.然后到含有pyproject.toml文件的文件夹下执行 pip install . 如果出现问题可以考虑执行pip install --upgrade pip setuptools进行更新
阅读全文
摘要:https://blog.csdn.net/duxiaodong1122/article/details/138922817 https://blog.csdn.net/qq_60489376/article/details/138817599?spm=1001.2014.3001.5506
阅读全文
摘要:转载:https://juejin.cn/post/7387581960027340850?searchId=2024082010353010978231AFBCF498E743
阅读全文
摘要:Llama基础 Llama是什么? Llama2是Meta开源发布的大型语言模型。其训练涵盖了庞大的数据集——规模达到2万亿token。Llama1可以处理2048个token,Llama2可以处理4096个token的文本。Llama1和Llama2有同样的模型结构。该系列包含7B、13B及70B
阅读全文