随笔分类 -  大模型

摘要:export CUDA_HOME=/usr/local/cuda-11.7 export PATH=$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH source ~/.bashrc # 如果你 阅读全文
posted @ 2025-02-11 09:57 Chenyi_li 阅读(4) 评论(0) 推荐(0) 编辑
摘要:export HF_ENDPOINT=https://hf-mirror.com pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 阅读全文
posted @ 2025-02-05 09:24 Chenyi_li 阅读(7) 评论(0) 推荐(0) 编辑
摘要:转载:https://zhuanlan.zhihu.com/p/667508306 阅读全文
posted @ 2025-01-21 16:41 Chenyi_li 阅读(5) 评论(0) 推荐(0) 编辑
摘要:制作数据集 from sklearn.metrics import accuracy_score, f1_score from sklearn.linear_model import LogisticRegression import datasets import numpy as np impo 阅读全文
posted @ 2024-11-20 11:14 Chenyi_li 阅读(23) 评论(0) 推荐(0) 编辑
摘要:转载:https://blog.csdn.net/chumingqian/article/details/138339481?ops_request_misc=%257B%2522request%255Fid%2522%253A%252239F9C14D-9496-4B47-98DE-481CF29 阅读全文
posted @ 2024-10-24 14:44 Chenyi_li 阅读(8) 评论(0) 推荐(0) 编辑
摘要:转载:https://zhuanlan.zhihu.com/p/715241324 阅读全文
posted @ 2024-10-22 13:40 Chenyi_li 阅读(3) 评论(0) 推荐(0) 编辑
摘要:huggingface_hub.errors.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/onechart_weights_path/'. Use `repo_type` 阅读全文
posted @ 2024-09-27 13:42 Chenyi_li 阅读(440) 评论(0) 推荐(0) 编辑
摘要:NotImplementedError: Using RTX 3090 or 4000 series doesn't support faster communication broadband via P2P or IB. Please set NCCL_P2P_DISABLE="1" and N 阅读全文
posted @ 2024-09-20 15:11 Chenyi_li 阅读(218) 评论(0) 推荐(0) 编辑
摘要:解决方案是在torchrun中添加参数--master_port改变master port。且注意这个参数一定要加在要跑的文件即src/entry_point/train.py之前,否则会被忽略。 引用:https://juejin.cn/post/7260668104752775228 我的代码是 阅读全文
posted @ 2024-09-20 14:53 Chenyi_li 阅读(406) 评论(0) 推荐(0) 编辑
摘要:1.先安装pipx。 2.然后用pipx安装poetry。 pipx install poetry 3.然后到含有pyproject.toml文件的文件夹下执行 pip install . 如果出现问题可以考虑执行pip install --upgrade pip setuptools进行更新 阅读全文
posted @ 2024-09-03 14:19 Chenyi_li 阅读(883) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/duxiaodong1122/article/details/138922817 https://blog.csdn.net/qq_60489376/article/details/138817599?spm=1001.2014.3001.5506 阅读全文
posted @ 2024-08-20 17:09 Chenyi_li 阅读(8) 评论(0) 推荐(0) 编辑
摘要:转载:https://juejin.cn/post/7387581960027340850?searchId=2024082010353010978231AFBCF498E743 阅读全文
posted @ 2024-08-20 11:10 Chenyi_li 阅读(9) 评论(0) 推荐(0) 编辑
摘要:Llama基础 Llama是什么? Llama2是Meta开源发布的大型语言模型。其训练涵盖了庞大的数据集——规模达到2万亿token。Llama1可以处理2048个token,Llama2可以处理4096个token的文本。Llama1和Llama2有同样的模型结构。该系列包含7B、13B及70B 阅读全文
posted @ 2024-08-20 10:04 Chenyi_li 阅读(536) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示