摘要:
高斯过程的核函数设计在高维空间(如图像像素、文本词向量)中难以有效捕捉复杂特征,主要原因包括以下几点: 1. 核函数的局部性限制 大多数传统核函数(如RBF核、Matern核)基于局部相似性假设,即两个数据点的相似性随其欧氏距离的增大而指数衰减。这种假设在高维空间中面临以下问题: 维数灾难:高维空间 阅读全文
摘要:
问题1. 问及transformer极限scale,以及高维空间优化的本质、计算不可约等问题,deepseek的回答 回答:您提出的问题触及了复杂系统理论的核心奥秘。让我们从数学本质层面剖析这个命题: 自指方程W=σ(WX)的涌现机制: 当参数量达到1e23量级时,网络权重矩阵W的维度将满足dim( 阅读全文
摘要:
问题1:大模型是否具备产生新知识的能力,比如新的物理定律。思考:这个问题需要仔细分析。需要明确“新知识”的定义。如果是指人类尚未发现的知识,比如全新的物理定律,那么模型是否可能做到?根据现有的大模型原理,模型是通过训练数据中的模式学习,生成的内容本质上是训练数据的组合和推断,而不是真正的创新。例如, 阅读全文
摘要:
好的,我需要回答用户关于Groq架构的两个问题。首先,用户问Groq是否类似于ASIC的超级版本。其次,用户想知道为什么其他公司不采用张量流编程范式。我需要确保回答准确且易于理解。 第一个问题,用户提到Groq是软件定义硬件的极端设计,类似ASIC的超级版本。我需要解释Groq与ASIC的异同。AS 阅读全文
摘要:
Deepseek-R1的精彩表达能力 问:请作为乔布斯,提出设想:Apple Mind Bridge,核心理念:"让思维直接对话,让创意即刻呈现",借助类似cursor,devin这样的AI编程,使想法实时变成代码,给出结果 deepseek答:(乔布斯风格的舞台步伐,背景渐现极简神经元动态投影) 阅读全文
摘要:
连接的重要意义--(三)脑连接、同构,自指,复杂的涌现 1. 脑连接,意识的产生,IIT信息整合理论 如果动物的各种行为都是有意识的,那凭什么植物对光的反应,或者电子的自旋现象,就没有意识呢? 许多人认为,构成人类囊胚的微观细胞集合是没有感觉经验的。但随着时间的推移,这些细胞会不断增殖,慢慢变成一个 阅读全文
摘要:
连接的重要意义--(二)创新的本质 1. 创新的本质是连接--技术发明,科学理论,数学皆是连接 布莱恩阿瑟在《技术的本质》一书中提到,技术发明是一个联通的时刻,是在问题与能够解决的问题的原理之间完全的连接。对于发现者来讲,这个洞见是如此完整,让人觉得无意识之间各个部分已经被组合完好,而且它一来大家就 阅读全文
摘要:
系列简介:“连接的重要意义”系列讨论笔者对连接重要性的理解,包含对人类、生命、复杂涌现、熵减等思考。大致分为三个部分,(一)对社会(历史、经济、组织形态)现象的一些描述,引出“连接”的表象意义,偏人文,无法证伪;(二)对人类社会复杂组织架构中“连接”的重要性讨论,包含创新的本质、规模化增加的幂律原则 阅读全文
摘要:
作者:布莱恩.阿瑟 技术的进化机制 将技术物体看成一个网络,在这个网络中,每个技术都表现为一个节点,每个节点和他的其他节点相连,有一些节点如水车,帆船等已经过时,就从活跃技术体系中消失了。但有一些技术是蓄势待发的,比如激光通信技术,迅速生产出进一步的元素。我们可以想象工程师企业家正在观看这个网络。社 阅读全文
摘要:
作者:梅拉妮·米歇尔 简介:机器学习的问题:1. 过拟合;2.缺乏可靠性和透明性,及其易受攻击性;3.缺乏常识;4.环境复杂和不可预测。总的来说,人工智能领域最重要的开放问题是:如何系统的获取抽象能力、“域泛化”(domain generalization)能力,以及迁移学习能力。人类拥有的知识、抽 阅读全文