摘要：
自从ChatGPT火爆以来，各种通用的大型模型层出不穷，GPT4、SAM等等，本周一Meta 又开源了新的语音模型MMS，这个模型号称支持4000多种语言，并且发布了支持1100种语言的预训练模型权重，最主要的是这个模型不仅支持ASR，还支持TTS，也就是说不仅可以语音转文字，还可以文字转语音。 因 阅读全文
摘要：
Jupyter 笔记本是数据科学家和分析师用于交互式计算、数据可视化和协作的工具。Jupyter 笔记本的基本功能大家都已经很熟悉了，但还有一些鲜为人知的技巧可以大大提高生产力和效率。在这篇文章中，我将介绍10个可以提升体验的高级技巧。 完整文章： https://avoid.overfit.cn/ 阅读全文
摘要：
PyTorch 2.0 发布也有一段时间了，大家是不是已经开始用了呢？ PyTorch 2.0 通过引入 torch.compile，可以显着提高训练和推理速度。 与 eagerly 模式相反，编译 API 将模型转换为中间计算图（FX graph），然后以某种方式将其编译为低级计算内核，这样可以提 阅读全文
摘要：
GMAC 代表“Giga Multiply-Add Operations per Second”（每秒千兆乘法累加运算），是用于衡量深度学习模型计算效率的指标。它表示每秒在模型中执行的乘法累加运算的数量，以每秒十亿 (giga) 表示。 乘法累加 (MAC) 运算是许多数学计算中的基本运算，包括矩阵 阅读全文
摘要：
NSFW指的是 不适宜工作场所（"Not Safe (or Suitable) For Work;"）。在本文中，将介绍如何创建一个检测NSFW图像的图像分类模型。 完整文章 https://avoid.overfit.cn/post/8f681841d02e4a8db7bcf77926e123f1 阅读全文
摘要：
视频理解任务最基础也是最主要的预处理任务是图像帧的提取。因为在视频理解任务中，视频可以看作是由一系列连续的图像帧组成的。因此，要对视频进行理解和分析，首先需要从视频中提取出每一帧的图像。 图像帧的提取是视频理解任务的基础，因为后续的处理和分析都是基于单独的图像帧进行的。每一帧都代表了视频中的一个时间 阅读全文
摘要：
Langchain可以帮助开发人员构建由大型语言模型(llm)支持的应用程序。它提供一个框架将LLM与其他数据源(如互联网或个人文件)连接起来。这允许开发人员将多个命令链接在一起，以创建更复杂的应用程序。包括最近比较火爆的AutoGPT等都是使用了Langchain框架进行开发的。所以本文将介绍如何 阅读全文
摘要：
对于大型模型来说，重新训练所有模型参数的全微调变得不可行。比如GPT-3 175B，模型包含175B个参数吗，无论是微调训练和模型部署，都是不可能的事。所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA)，它冻结了预先训练好的模型权重，并将可训练的秩的分解矩 阅读全文
摘要：
GitHub Copilot 是一款由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它是一种基于机器学习的代码自动完成工具，旨在帮助开发人员更高效地编写代码。 GitHub Copilot Chat是GitHub Copilot的一部分，它是一个基于人工智能的编程助手，由OpenAI 阅读全文
摘要：
LayerNorm 一直是 Transformer 架构的重要组成部分。如果问大多人为什么要 LayerNorm，一般的回答是：使用 LayerNorm 来归一化前向传播的激活和反向传播的梯度。 其实这只是部分正确：Brody、Alon 和 Yahav 的一篇题为“On the Expressivi 阅读全文