deephub

摘要： Tinygrad是一个轻量级的深度学习库，它提供了一种简化和直观的方法来理解和实现神经网络。在本文中，我们将探讨Tinygrad及其主要功能，以及它如何成为那些开始深度学习之旅的人的有价值的工具。 https://avoid.overfit.cn/post/33edc61f5a414cefa4431 阅读全文

摘要： PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步，随着这些模型在各种应用中越来越普遍，这个主题也变得越来越重要。 研究及其方法论 PromptBench采用多种对抗性文本攻击，研究人员生成了4000多个对抗性提 阅读全文

摘要： 在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支，即视觉语 阅读全文

摘要： 本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。 注意力机制 在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。 假设有一个数据库，里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranat 阅读全文

摘要： 在统计建模领域，理解总体趋势的同时解释群体差异的一个强大方法是分层(或多层)建模。这种方法允许参数随组而变化，并捕获组内和组间的变化。在时间序列数据中，这些特定于组的参数可以表示不同组随时间的不同模式。 今天，我们将深入探讨如何使用PyMC(用于概率编程的Python库)构建分层时间序列模型。 让我 阅读全文

摘要： Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models https://arxiv.org/abs/2306.03799 Prompt engineering 是通过提供明确和具体的指令来增强大型语言 阅读全文

摘要： 大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。这种扩展使得模型能够处理更复杂、更长的输入序列，并生成更准确、更具连贯性的输出。同时，更大规模的模型还能够涵盖更 阅读全文

摘要： 理解时间序列数据 在深入研究异常检测技术之前，先简单介绍时间序列数据的特征。时间序列数据通常具有以下属性: 趋势:数据值随时间的长期增加或减少。 季节性:以固定间隔重复的模式或循环。 自相关:当前观测值与先前观测值之间的相关性。 噪声:数据中的随机波动或不规则。 让我们可视化下载的时间序列数据 # 阅读全文

摘要： 本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。 对于XGBoost来说，默认的超参数是可以正常运行的，但是如果你想获得最佳的效果，那么就需要自行调整一些超参数来匹配你的数据，以下参数对于XGBoost非常重要: eta num_boost_ 阅读全文

摘要： 最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。 完整文章： https://avoid.overfit.cn/post/6a45189633a9496 阅读全文