随笔分类 - 大模型
摘要:看到DeepSeek-V3使用了多token预测(Multi-token Prediction, MTP)技术,该技术原始论文是由Meta 发在ICML 2024的一篇Poster。 论文: [2404.19737] Better & Faster Large Language Models via
阅读全文
摘要:Generalist AI (AGI) framework based on the principles of embodiment, grounding, causality and memory 图:通用 AGI 系统的功能框图。概念模型由以下部分组成:(1)核心框架、体现,提供与世界接口和交
阅读全文
摘要:类型 主要功能 在LLMs中的实现方法 感官记忆 短暂存储感官信息以供认知系统访问。 缓冲输入/输出系统;感官输入的锁存机制;仿生感官记忆技术。 作为一种缓冲机制,允许认知处理组件在不同速度下工作而不丢失信息。 过滤信息(例如,通过注意机制)以供长期存储。 在线记忆 暂时存储活跃信息以支持认知处理。
阅读全文
摘要:符号嵌入问题(Symbol Grounding Problem)是认知科学、心灵哲学和人工智能中的一个关键问题。它探讨的是符号(或词语)是如何在一个系统中获得意义的。换句话说,抽象符号(如单词或概念)是如何代表现实世界中的对象、行为或经验的? 关键概念 符号表示:指的是将意义编码为抽象符号的理念,例
阅读全文
摘要:空间思考:多模态大型语言模型如何看待、记忆和回忆空间 VSI-Bench:我们引入了一个高质量的基准,用于评估 MLLM 的 3D、基于视频的视觉空间智能 评估:我们在开源和闭源 MLLM 上对 VSI-Bench 进行了评估,发现 MLLM 表现出有竞争力的(尽管不如人类)视觉空间智能。 语言分析
阅读全文