摘要：
今天尝试用qlora训qwen2，由于有cpu offload 所以虽然显存炸了，但也能跑 而且更幸运的是，显卡占用一直高达100% 不过三次都快结束第一个epoch的时候蓝屏了。 阅读全文
摘要：
我下载的模型是Systran/faster-whisper-large-v3 BTW ：V3在huggingface上托管者是systran，而前面的都是Guillaume Klein 然后我看了下这个大佬的github，是苹果法国巴黎工程师，同时是systran的成员，主要贡献是开发了CTrans 阅读全文
摘要：
snapshot_download huggingface 官方提供了snapshot_download 方法下载完整模型，参数众多、比较完善。支持断点续传、多线程、指定路径、配置代理、排除特定文件等功能。然而有两个缺点： 1)）该方法依赖于 transformers 库，而这个库是个开发用的库，对 阅读全文
摘要：
环境配置 python 3.9才能用 所以开了个新conda环境pytorch-py3.9 windows下开启离线模式的方法 set HF_HUB_OFFLINE=1 试用 marker_single ./技术深度解剖.pdf ./ --batch_multiplier 2 --langs Chi 阅读全文
摘要：
环境配置 pip install gptpdf 测试代码 from gptpdf import parse_pdf api_key = 'ollama' pdf_path = '测试pdf.pdf' base_url = 'http://localhost:11434/v1' model = 'sc 阅读全文
摘要：
修改用户路径下的.condarc channels: - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mi 阅读全文
摘要：
配置 拉取镜像 （devel版本有nvcc和cudnn） sudo docker pull pytorch/pytorch:1.6.0-cuda10.1-cudnn7-devel 构建容器 sudo docker run -it --gpus all --name lipytorch1.6 --sh 阅读全文