摘要:
省流版本 在输出一个张量时,你可以根据张量输出的方括号([])的数量来判断张量的维度。每个方括号对应张量的一个维度,张量的维度数就是方括号的数量。 最外面的为第一个维度,往里面依次为第2 3 ... 维度。 例如,如果你看到如下输出: tensor([[1, 2, 3], [4, 5, 6]]) 这 阅读全文
摘要:
tag: AI system category: 系统论文 abstruct all-to-all communication: (expert-centric) 让专家位于原地,数据在专家之间进行交换。 作者提出了一种”data-centric“的范式:让数据位于原地,在GPU之间移动专家。(因为 阅读全文
摘要:
tag: AI category: 系统论文 又要读论文啦!! 目的:联合利用多个GPU来训练图神经网络。 方式:用一种特殊的数据布局来利用GPU之间的NVLink连接, 并且GPU(显存)中存放了图形拓扑和popular node features。 措施: 引入集体采样源语:collective 阅读全文
摘要:
tag: AI category: 系统论文 2 Background and Motivation MoE:Misture-of-Expertsn FFN为MoE模型中的专家,多个FFN和一个Gating组成了基本的MoE模型。 2.2 混合和自动并行化 训练密集型深度学习网络的常见的三种并行方式 阅读全文
摘要:
# dpi修改 你还在纠结发论文给证件照的时候dpi不够300吗? 那就来这个网站吧! https://uutool.cn/img-300dpi/ 阅读全文
摘要:
1. [修改速度](https://mod.3dmgame.com/mod/169513) 2. [修改装备](https://mod.3dmgame.com/mod/163527) 阅读全文
摘要:
[参考](https://zhuanlan.zhihu.com/p/577586185) echo 命令是日常 linux 任务中使用最广泛的命令之一。echo 命令是一个内置的命令行工具,它将文本或字符串打印到标准输出或将输出重定向到文件。该命令通常在 bash shell 或其他 shell 中 阅读全文
摘要:
[参考](https://blog.csdn.net/m0_56911284/article/details/126831896) 引入问题 int main() { int arr1[10] = { 1,2,3,4,5,6,7,8,9,10 }; my_memcpy(arr1+2, arr1, 2 阅读全文
摘要:
# 功能 由文件描述符获取文件的状态 # 头文件 ```c #include #include ``` # 函数声明 ```c int fstat(int filedes, struct *buf); ``` 两个参数分别为: int filedes: 已经打开的文件描述符,通常由 `open`函数 阅读全文
摘要:
fprintf()用于文件操作 ```c #include int fprintf( FILE *stream, const char *format,... ); ``` fprintf()函数根据指定的format(格式)发送信息(参数)到由stream(流)指定的文件.因此fprintf()可 阅读全文