marsggbo

摘要： 更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集（enwiki-latest-pages-articles.xml.bz2） 再使用 阅读全文

摘要： 下面这边文章讲的非常清晰，原文链接：https://blog.csdn.net/ljp1919/article/details/113616226 阅读全文

摘要： 复杂度分析 推理过程图示 Double QLORA示意图 阅读全文

摘要： 这篇文章写的太好了非常适合新手入门，原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754 阅读全文

摘要： > 转载自：https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B%E6%88%96%E8%80%85Python%E6%8F%92%E4%BB%B6%E3%80%82 Macbook M1/M2无法安装gdb 阅读全文

摘要：  https://www.ruanyifeng.com/blog/2015/02/make.html 阅读全文

摘要： > 下文由ChatGPT生成 在C++中，`template`是一种通用编程工具，用于创建通用的函数或类。通过使用模板，可以编写可以应用于不同数据类型的函数或类，从而实现代码的重用性和灵活性。`template`的使用方法如下： ### 1. 函数模板（Function Templates） 函数模 阅读全文

摘要： 有时候安装某个包可能会遇到gcc版本过低的问题，但是系统上可能安装了好几个版本的gcc。那么一种很简单的解决办法如下： - 1. 切换到gcc对应的路径，例如`cd /usr/local/bin/gcc` 假如这个路径下有这么几个版本的gcc,g++: ```bash ls >>> gcc gcc- 阅读全文

摘要： # 1. Motivation 不同硬件模块之间的带宽和存储空间有明显差异，例如下图中左边的三角图，最顶端的是GPU种的SRAM，它的容量非常小但是带宽非常大，以A100 GPU为例，它有108个流式多核处理器，每个处理器上的片上SRAM大小只有192KB，因此A100总共的SRAM大小是192KB 阅读全文

摘要： 原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ  阅读全文