随笔分类 -  Python

摘要:在https://github.com/Dao-AILab/flash-attention/releases找到对应pytorch和cuda版本进行下载whl文件,然后通过pip install xxx.whl进行安装。 阅读全文
posted @ 2024-06-04 14:57 Shiyu_Huang 阅读(1885) 评论(0) 推荐(0) 编辑
摘要:报错:AttributeError: module 'cv2.dnn' has no attribute 'DictValue'。 执行以下命令可以自动修复: pip install opencv-fixer==0.2.5 python -c "from opencv_fixer import Au 阅读全文
posted @ 2024-04-08 18:48 Shiyu_Huang 阅读(1369) 评论(0) 推荐(0) 编辑
摘要:pytorch不能高于2.0, CUDA版本不能高于11.7 DS_BUILD_FUSED_ADAM=1 pip install deepspeed --no-build-isolation 阅读全文
posted @ 2023-11-29 19:41 Shiyu_Huang 阅读(1239) 评论(0) 推荐(0) 编辑
摘要:import os from pathlib import Path from PyPDF2 import PdfReader, PdfWriter def extract_number_from_filename(path): # 从文件路径中提取文件名(不包括扩展名),然后再从文件名中提取前缀数 阅读全文
posted @ 2023-08-07 00:27 Shiyu_Huang 阅读(137) 评论(0) 推荐(0) 编辑
摘要:1. 安装python (可安装任意版本) brew install python@3.9 2. 创建虚拟环境 cd ~ /opt/homebrew/bin/python3.9 -m venv ai3.9 3. 激活虚拟环境 source ~/ai3.9/bin/activate 4. 安装 pip 阅读全文
posted @ 2023-03-28 20:51 Shiyu_Huang 阅读(770) 评论(0) 推荐(0) 编辑
摘要:link: https://blog.csdn.net/weixin_38278993/article/details/100052961 阅读全文
posted @ 2023-03-28 17:07 Shiyu_Huang 阅读(30) 评论(0) 推荐(0) 编辑
摘要:以t5-base为例: 储存模型: from transformers import AutoModelForSeq2SeqLM if __name__ == '__main__': model_name = 't5-base' prefix = 'your_path' save_path = pr 阅读全文
posted @ 2023-03-03 21:21 Shiyu_Huang 阅读(549) 评论(0) 推荐(0) 编辑
摘要:以t5-base为例 本地存储: from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('t5-base') tokenizer.save_pretrained('your_path') 本地 阅读全文
posted @ 2023-03-03 20:32 Shiyu_Huang 阅读(984) 评论(0) 推荐(0) 编辑
摘要:有时候服务器访问不了外网,可以现在可以访问外网的机器上先把数据集给下好,然后传到对应服务器进行加载。 1. 首先下载并存储数据: import datasets dataset = datasets.load_dataset("dataset_name") dataset.save_to_disk( 阅读全文
posted @ 2023-03-03 17:13 Shiyu_Huang 阅读(4353) 评论(0) 推荐(0) 编辑
摘要:from collections import namedtuple Player = namedtuple('Player', ['name', 'number'])p1 = Player('Jordan', 23) print(p1.name) # get Jordan 阅读全文
posted @ 2022-11-02 16:42 Shiyu_Huang 阅读(29) 评论(0) 推荐(0) 编辑
摘要:现在mujoco的安装变得非常简单: pip install mujoco 即可! 下面是过去安装mujoco的方式: 1. 下载MuJoCo可执行文件:Linux: https://mujoco.org/download/mujoco210-linux-x86_64.tar.gz Mac: htt 阅读全文
posted @ 2022-09-14 16:03 Shiyu_Huang 阅读(1327) 评论(0) 推荐(0) 编辑
摘要:# For RHEL/Fedora 确保这些软件安装好了,否则后续pip安装相关包可能会出错 yum install libffi-devel bzip2-devel sqlite-devel openssl-devel xz-devel python-backports-lzma ncurses- 阅读全文
posted @ 2022-07-29 03:18 Shiyu_Huang 阅读(648) 评论(0) 推荐(0) 编辑
摘要:from pathlib import Path path = Path("test_path") path.name # 文件名 path.stem # 除后缀的文件名 path.suffix # 文件后缀 path.parent # 文件父目录 path.parents # 各个层级的父目录 p 阅读全文
posted @ 2022-07-14 20:41 Shiyu_Huang 阅读(1089) 评论(0) 推荐(0) 编辑
摘要:pip uninstall -y enum34 阅读全文
posted @ 2022-04-24 17:18 Shiyu_Huang 阅读(102) 评论(0) 推荐(0) 编辑
摘要:1. 先安装下面这些库: brew install hg sdl sdl_image sdl_ttf sdl2 sdl2_image pkgconfig sdl_mixer portmidi 如果没有找到,需要brew更换阿里源,更换方式见:https://www.cnblogs.com/mrlon 阅读全文
posted @ 2021-08-27 23:43 Shiyu_Huang 阅读(405) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2020-11-25 19:36 Shiyu_Huang 阅读(214) 评论(0) 推荐(0) 编辑
摘要:from terminaltables import AsciiTable, DoubleTable, SingleTable from colorclass import Color, Windows TABLE_DATA = ( ('Platform', 'Years', 'Notes'), ('Mk5', '2007-2009', 'The Golf Mk5 Varian... 阅读全文
posted @ 2019-06-14 17:06 Shiyu_Huang 阅读(3216) 评论(0) 推荐(0) 编辑
摘要:1.安装virtualenv pip install virtualenv 2.选定一个目录,作为存储不同环境的总目录 3.安装virtualenvwrapper-powershell(只适用于Python2)或者 virtualenvwrapper-win(推荐) 安装virtualenvwrap 阅读全文
posted @ 2019-02-18 00:07 Shiyu_Huang 阅读(1362) 评论(0) 推荐(0) 编辑
摘要:save_info.py: show_info.py 阅读全文
posted @ 2018-08-29 14:49 Shiyu_Huang 阅读(473) 评论(0) 推荐(0) 编辑
摘要:import pickle def save_obj(obj, name ): with open('obj/'+ name + '.pkl', 'wb') as f: pickle.dump(obj, f, pickle.HIGHEST_PROTOCOL) def load_obj(name ): with open('obj/' + name + '.pkl... 阅读全文
posted @ 2018-08-29 14:16 Shiyu_Huang 阅读(14397) 评论(0) 推荐(1) 编辑