摘要：
摘要 2024-01-06 周六 杭州 晴 课程内容 1. 上一代 AI 能做什么？ 2. AI 的能力演进 3. LLMS 带来了哪些变化 4. LLMS 存在哪些问题 5. LLMS 落地的三个关键要素 6. LLMS 短期落地的方向-内容生成 7. LLMS 中期落地的方向-智能体 8. 从 阅读全文
摘要：
摘要 2024-01-06 周六 杭州 晴 课程内容 1. GPU 利用率 a. GPU 利用率较低的原因本质是由于CPU的计算或者I/O环节耗时过长，导致GPU利用率较低； b. 数据加载与处理的耗时，采用多线程或者 I/O 多路复用技术提高 I/O 或 CPU 利用率； c. 减少 I/O 操作 阅读全文
摘要：
摘要 2024-01-06 周六 杭州 晴 本节内容: 讲座模式，学习大模型训练的相关流程。 课程内容 1. Transformer 回顾 2. 模型架构-生成式 3. 预训练数据的构建 4. 中文字典的构建 4. 预训练目标的构建 5. 预训练相关-预训练策略 6. 预训练相关-并行化训练 7. 阅读全文
摘要：
摘要 2024-01-06 周六 杭州 晴 本章内容: Hugging Face 是什么？ 答: 相当于 NLP 的 github ; 基于 transformer 的开源模型非常全； ChatGLM2 基础使用 课程内容 1. Hugging Face 安装 pip install transfo 阅读全文