Picassooo

2024年12月8日

主节点，节点编号node_rank，全局进程编号rank，局部进程编号，全局总进程数world_size

摘要：主节点（master_ip + master_port）责协调所有其他节点和进程的工作，由主节点所在服务器的IP地址和主节点进程的端口号来确定主节点。主节点还负责监控系统状态、处理任务分配、结果汇总等任务，因此是整个系统的关键部分。节点编号(node_rank)是系统中每个节点的唯一标识符，用于区阅读全文

posted @ 2024-12-08 11:45 Picassooo 阅读(133) 评论(0) 推荐(0)

gradient_accumulation_steps --梯度累加理解

摘要： gradient_accumulation_steps --梯度累加理解_gradient accumulation step-CSDN博客阅读全文

posted @ 2024-12-08 11:23 Picassooo 阅读(226) 评论(0) 推荐(0)

2024年12月7日

大语言模型LLM相关资料

摘要：大模型超详细解读 (目录) - 知乎大语言模型LLM之GPT系列 - Picassooo - 博客园大语言模型LLM之LLaMa系列 - Picassooo - 博客园大语言模型LLM之MoE系列 - Picassooo - 博客园 An Introduction to VLMs: The F 阅读全文

posted @ 2024-12-07 11:38 Picassooo 阅读(76) 评论(0) 推荐(0)

大语言模型LLM之MoE系列

摘要：大模型超详细解读 (目录) - 知乎 MoE 系列超详细解读 (一)：Soft MoE：一种完全可微的稀疏 Transformer - 知乎 MoE 系列超详细解读 (二)：V-MoE：视觉领域的稀疏门控混合专家模型 - 知乎 MoE 系列超详细解读 (三)：ST-MoE：设计稳定可迁移的稀疏专家模阅读全文

posted @ 2024-12-07 11:36 Picassooo 阅读(180) 评论(0) 推荐(0)

大语言模型LLM之GPT系列

摘要：大模型超详细解读 (目录) - 知乎 LLM 系列超详细解读 (一)：GPT：无标注数据的预训练生成式语言模型 - 知乎 LLM 系列超详细解读 (二)：GPT-2：GPT 在零样本多任务学习的探索 - 知乎 LLM 系列超详细解读 (三)：GPT-3：大型语言模型是少样本学习器 - 知乎 LLM 阅读全文

posted @ 2024-12-07 11:33 Picassooo 阅读(110) 评论(0) 推荐(0)

大语言模型LLM之LLaMa系列

摘要：大模型超详细解读 (目录) - 知乎 LLM 系列超详细解读 (六)：LLaMa：开源高效的大语言模型 - 知乎 LLM 系列超详细解读 (七)：LLaMa 2：开源微调的聊天大语言模型 - 知乎阅读全文

posted @ 2024-12-07 11:30 Picassooo 阅读(48) 评论(0) 推荐(0)

2024年12月4日

mmcv中dist_train.sh的一些命令的含义

摘要： CONFIG=$1 GPUS=$2 NNODES=${NNODES:-1} NODE_RANK=${NODE_RANK:-0} PORT=${PORT:-29500} MASTER_ADDR=${MASTER_ADDR:-"127.0.0.1"} PYTHONPATH="$(dirname $0)/ 阅读全文

posted @ 2024-12-04 11:39 Picassooo 阅读(165) 评论(0) 推荐(0)

2024年11月28日

自动驾驶仿真器-Carla教程

posted @ 2024-11-28 17:25 Picassooo 阅读(395) 评论(0) 推荐(0)

2024年11月27日

转：Sparse4D系列算法

摘要： Sparse4D系列算法：迈向长时序稀疏化3D目标检测的新实践 - 知乎阅读全文

posted @ 2024-11-27 16:12 Picassooo 阅读(109) 评论(0) 推荐(0)

转：顶会论文写作建议

摘要：顶会论文写作建议（上）：宏观布局，避免“hard to follow” - 知乎阅读全文

posted @ 2024-11-27 15:22 Picassooo 阅读(23) 评论(0) 推荐(0)

公告