摘要: ### 快速上手多线程压缩:用 `tar` 直接调用 `pigz` 如果你在压缩大文件或目录时感到速度太慢,可以尝试将 `tar` 与 `pigz` 结合,并通过**指定多线程参数**大幅提升效率。以下是直接使用 `tar` 命令调用 `pigz` 的极简教程,包含实际性能优化的参数组合。 示例命令 阅读全文
posted @ 2025-02-19 11:58 MKY-门可意 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 一、硬件与系统环境要求 1.1 硬件配置 GPU: 8× NVIDIA A100 80GB (PCIe) 显存要求: 每卡80GB,8卡总显存640GB 系统内存: ≥32GB (用于交换空间) 1.2 软件环境 操作系统: Linux(验证环境发行版 Ubuntu 22.04 LTS) 驱动版本: 阅读全文
posted @ 2025-02-10 08:18 MKY-门可意 阅读(4055) 评论(0) 推荐(2) 编辑
摘要: 1. 传统检测方法的困境 1.1 滑动窗口 + HOG:机械化搜索的局限性 想象你在一间堆满杂物的仓库中寻找一把特定的钥匙。滑动窗口方法就像用固定大小的盒子(例如100×100像素)逐行逐列扫描整个仓库,每次检查盒子内的物品是否与钥匙匹配。其核心步骤如下: 特征提取:对每个窗口内的图像计算HOG特征 阅读全文
posted @ 2025-01-23 20:15 MKY-门可意 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 引言 指针是C语言中最强大但也最容易让人困惑的特性之一。理解指针的本质、类型以及强制类型转换的行为,对于掌握C语言至关重要。本文将通过清晰的解释和示例代码,帮助你彻底理解这些概念。 1. 指针的本质 1.1 指针是什么? 指针的本质是一个内存地址,它表示某个数据在内存中的位置。 在底层,指针只是一个 阅读全文
posted @ 2025-01-19 10:52 MKY-门可意 阅读(57) 评论(0) 推荐(1) 编辑
摘要: GPTQ简介 2022年,Frantar等人发表了论文 GPTQ:Accurate Post-Training Quantization for Generative Pre-trained Transformers。 这篇论文详细介绍了一种训练后量化算法,适用于所有通用的预训练 Transform 阅读全文
posted @ 2025-01-11 07:09 MKY-门可意 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 自然语言处理(NLP)领域近年来取得了巨大的进展,而 Hugging Face Transformers 库 无疑是推动这一进展的重要力量。它为研究人员和开发者提供了丰富的预训练模型、简洁易用的接口以及高效的工具,极大地简化了 NLP 任务的开发流程。本文将带您深入探索 Transformers 库 阅读全文
posted @ 2025-01-09 10:32 MKY-门可意 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 1. 介绍 Overlay2 的基本原理 Overlay2 是一种联合文件系统(Union Filesystem),它允许将多个目录(称为层)合并成一个统一的视图。Overlay2 的主要用途是在容器技术中,用于构建容器的文件系统。它的核心思想是通过将多个只读层和一个可写层叠加在一起,形成一个单一的 阅读全文
posted @ 2025-01-07 20:45 MKY-门可意 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 1. 什么是 unshare? unshare 是 Linux 中的一个命令,用于在新的命名空间中运行程序。命名空间是 Linux 内核提供的一种隔离机制,允许进程组拥有独立的系统资源视图,如进程 ID、网络、挂载点等。unshare 常用于容器技术的底层实现中,帮助创建隔离的环境。 2. 常见的命 阅读全文
posted @ 2025-01-06 14:43 MKY-门可意 阅读(90) 评论(0) 推荐(0) 编辑
摘要: HF微调语言模型-问答任务¶ 注意:微调后的模型仍然是通过提取上下文的子串来回答问题的,而不是生成新的文本。 In [1]: # 根据你使用的模型和GPU资源情况,调整以下关键参数 squad_v2 = False model_checkpoint = "/models/distilbert-bas 阅读全文
posted @ 2024-12-30 19:38 MKY-门可意 阅读(10) 评论(0) 推荐(0) 编辑
摘要: HF微调训练¶ Transformers实现模型微调训练的主要流程: 数据集下载 数据预处理 训练超参数配置 训练评估指标设置 训练器基本介绍 实战训练 模型保存 YelpReviewFull 数据集¶ 数据集下载: YelpReviewFull 数据集摘要¶ Yelp评论数据集包括来自Yelp的评 阅读全文
posted @ 2024-12-27 06:50 MKY-门可意 阅读(8) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示