原教旨冯诺依曼到存算的距离
- 冯诺伊曼架构和存算不是对立的概念
- 从智能角度证明存算架构力度远远不够
存算针对的是存储和计算关系,冯诺依曼架构针对的是程序和数据都要存储,二者重心不一样因此不是对立的概念。
如果按原教旨主义理解冯诺依曼架构,就要追溯到 《First Draft of a Report on the EDVAC[1]》 ,文中提出了计算机要有存储、控制、计算、IO几个功能,然后给出了一种存算分离的具体实现。其核心创新应当是程序和数据都要存储,存算分离应当看作冯诺依曼架构的一种具体实现,而非本身。
实际在存算文章语境中,更多将现有的存算体系和冯诺依曼架构联系,本身这个词冯诺依曼也没给出过解释,概念太过宽泛,当然也没有问题。对词语的解释问题。
有一种情况将存算和原教旨主义的冯诺依曼架构真正对应起来,即程序和数据之间没有明显的界限,即没有控制流,一切都是数据流,一个“纯AI”的类脑架构,但现在离这个目标太远,目前的存算硬件还是划分在冯诺依曼体系下,但确实有数据流比重提高的趋势。
所以从智能说存算会 work 的论述只能是一种信念,不足以作为论据。现在硬件离真正的存算太遥远,对存算理论体系也不够,就和模仿神经网络发展的人工神经网络,可能会成功,但距离还是太远,无从谈论解释性。
另一种证明存算会 work 的立场则从工程的角度更加现实,这个数据流比重提高趋势的一种响应,而非工艺停滞。是因为数据流比重提升了,并且工艺停滞无法满足,所以走向存算;而非工艺停滞了,所以走向存算。Dennard scaling 很早开始失效了,但存算并没有火起来,存算火起来是在 AI 爆发之后;如果只是工艺停滞了,应用没有变化,那么存算不会火起来。