Mju_halcyon - 博客园

从whl链接安装torch对应版本以及CondaHTTPError debug记录

摘要：首先明确需要的torch对应版本如，我的任务是在cuda11.80的服务器上安装vllm库指定的torch==2.5.1版本（注：如果pip install vllm，会自动安装一个torch2.5.1+cu124的版本，不匹配cuda版本，运行报错）可能用到的whl网站1. 官网：downloa 阅读全文

posted @ 2025-02-26 15:00 Mju_halcyon 阅读(135) 评论(0) 推荐(0)

vllm 安装踩坑记录

摘要：不太确定最直接简单的安装方法是什么，可以采用如下步骤安装：环境：cuda12.2, 其他库的版本可以按如下requirements文件中指定的版本更新1. 从git链接下载最新的vllm本地包到自定义目录./vllm_source_code/，依次安装该目录下requirements-build.t 阅读全文

posted @ 2025-01-07 18:11 Mju_halcyon 阅读(2916) 评论(3) 推荐(0)

高维向量聚类（草稿）

摘要：对于容易出现维度灾难的高维向量序列聚类，在不知道聚类数量的情况下，可以使用基于密度的聚类方法dbscan；也可以通过估计聚类数量，再使用kmeans。对于kmeans，一般有以下处理方法：方法一：使用 NearestNeighbors 估计簇数量，然后用 KMeans 聚类 NearestNeig 阅读全文

posted @ 2024-12-11 16:42 Mju_halcyon 阅读(76) 评论(0) 推荐(0)

python lightgbm gpu版本，启动！

摘要：环境 Ubuntu 20.04.2 Python 3.8.10 Nvidia-smi driver 535.104.05 cuda 12.2 torch 1.13.1+cu116(torch cuda 11.6) 步骤注：因为先尝试了pip3 install lightgbm, 安装了没有gpu兼阅读全文

posted @ 2024-08-21 14:40 Mju_halcyon 阅读(236) 评论(1) 推荐(0)

【新坑】python 文本比对

摘要：文本比较算法 LD编辑距离算法其他... 参考：文本比较算法 - 随笔分类 - 万仓一黍 - 博客园 (cnblogs.com)文本比较算法Ⅰ——LD算法 - 万仓一黍 - 博客园 (cnblogs.com) python的相关库 difflib（似乎不太好用，适用于比较由行构成的文本，有过滤ju 阅读全文

posted @ 2024-03-14 15:08 Mju_halcyon 阅读(76) 评论(0) 推荐(0)

vim 编辑python文件禁止tab转换为空格的设置

摘要： 1. 修改各种路径下的.vimrc都没用 2. 一个解决方法：每次用vim打开python文件后，分别运行 :set ts=4(8) :set noexpandtab :%retab! 3. 其他：安装python编辑的dictionary补全提示插件： filetype plugin on l 阅读全文

posted @ 2024-03-08 15:42 Mju_halcyon 阅读(70) 评论(0) 推荐(0)

pytorch 学习记录——计算图

摘要： 1. pytorch的计算图是动态更新的（tensorflow是静态计算图），数据流向可以是双向的。 2. pytorch variable(用于封装tensor，便于自动求导的变量类型，在pytorch0.4.0之后版本已被并入tensor) 基本属性：data，dtype，shape，devic 阅读全文

posted @ 2023-12-01 17:11 Mju_halcyon 阅读(69) 评论(0) 推荐(0)

pytorch 学习记录

摘要： 2023.10.31 model.train()：启用 Batch Normalization 和 Dropout。作用：对BN层，保证BN层能够用到每一批数据的均值和方差，并进行计算更新；对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。 model.eval() 阅读全文

posted @ 2023-10-31 11:48 Mju_halcyon 阅读(13) 评论(0) 推荐(0)

python3.8 debug记录

摘要： AttributeError: module 'numpy' has no attribute 'typeDict'pip3 install numpy==1.18.5ModuleNotFoundError: No module named 'sklearn'pip install scikit-l 阅读全文

posted @ 2023-10-27 15:44 Mju_halcyon 阅读(29) 评论(0) 推荐(0)

NLTK debug记录——"[nltk_data] Error loading xxx"下载数据集失败

摘要：问题：运行nltk.download("xxx")时遇到连接下载失败Error解决：在gitee上下载对应的.zip词库包（如，nltk_data/pakages/copora/目录下的下载链接）； NLTK下载数据集时会自动搜索某些以./nltk_data/为结尾的目录（见附注），找到一个这样的阅读全文

posted @ 2023-10-26 15:05 Mju_halcyon 阅读(262) 评论(0) 推荐(0)