1、神经元其实并不神奇，神奇的是它以某种相互联系的方式，可以在训练得到答案并核对答案后，立即对所走的路径上的权重进行更新（反向传播），更新的依据是答案误差大小，误差大则更新也大，误差小则更新就小。
所走路径：所有单次训练被激活的神经元的组合。
2、根据1，我们完全可以重新设计更好的神经元和神经网络，其目标是能使这个过程更简单，更高效，更适合批量化计算。
因此我认为，神经网络存在很多形态，目前的形态很可能不是最优的，我提醒研究者，应该往这方面去创新，只要实现神经网络+神经网络组织方式+反向传播更新神经元，即是神经网络，至于好坏要经过测试对比实践去检验。
3、目前为什么会出现那么多不同的神经网络模型？
神经网络有一个特点，如果是普通的nxn的矩形神经网络，他只能根据输入调整使用网络上的权重，他自身无法识别输入数据的潜在特点，为了帮助神经网络识别潜在特点，人类设计了很多不同的网络。
比如，当cnn网络中，不对rgb3通道进行分离对比时，神经网络本身很难发现颜色的特别作用，如果不对图像进行缩小采样时，他不能适应于不同比例放缩后的物体，比如RNN算法，如不对比前后时间的数据，他就不知道变化信息。
很多神经网络model，特别是面向不同领域的模型，做的最多的就是这个思考，他能帮助神经网络，把人类认为必须提取和注意的信息，通过网络结构的安排进行后效提取。
对于，我认为随着通用智能的需求被提出，一定有普适的神经网络结构出现，但专有网络可能效率和能耗上会继续占据优势。
关于这一点，我认为必须模仿神——经历数亿年时间进化结果的动植物和自然界，大自然中充满了各种专用网络，比如蚯蚓善于对应泥土，蜻蜓善于飞翔，蚊子几乎一出生就善于飞翔和叮咬，这些神经网络很小很小，但却很强大，而人类可能就是所谓的agi对标模型。而实际上人类也是这样做的，但这个目前依然有参考作用，因为超越过去依然必须以此为跳板。
想明白了这些，我们研究者应该能更好提出下一代更好的神经网络的设计。
新的网络应该具备下列特点，具备这些特点，就可能发现更优化的结构和算法：
1、必须结构简单——目前的神经网络结构有点复杂了，在同样的size下很难做到模仿蚊子、蜻蜓那种小型生物就具有的功能和效率
结构其实可以很简单，即节点能存储权重，能与周围节点联系传递信号即可，可以天马行空地去创新，原则是简单。
简单包括数据结构简单，数据类型简单，联系规则简单，甚至可读性简单。
2、必须易于计算——我们需要更简单的FP+BP（向前传播和反向传播），FP和BP都是当前神经网络验证过的精髓部分（可以在训练中不断对权重的动态调整，从而实现智能能力），但一定可以更简单
如果能实现这个层面的简化，对目前的所有神经网络都会立马产生极大的提升——导致计算需求的巨大降幅（可能普通cpu就可以对一些非超大模型进行有效的训练）。
FP算法难度不大，因为向前只是起到传递作用，后面无需跟踪。就像小溪汇入大河，很简单。
但要找回大河里面的水是从哪条小溪里面来的，这就很难，这就是BP算法要解决的问题。
3、必须能并行计算——不能并行计算的结构应该是一条绝路，类脑的超大模型异常复杂，自然的规则一定是并行计算，否则不会有未来。
目前的类似ChatGPT的大模型的一个特点是，如非剪枝等优化，每次训练都要调整全部网络权重，而非优化的推理过程也是一样的，要搜索整个千亿级的空间，然后才能得出模型认为是最优的一个结果。这也是生物大脑发生的事情——人类每一个决策动作，都是当时他搜索整个大脑可能的信息后做出的自认为最优的决策（实际上并非一定全局最优，而是个体记忆数据范围和生理能力范围内的最优，这中间当然包括遗忘等一些人类自然问题）。这种情况，如果没有并行运算，是无法模仿生物大脑的。
所以，只要结构简单易于计算且支持并行的神经网络结构，这个大方向下，空间很大，一定存在更优化算法结构。
比如我认为，存在如下可能：
1、哪一天gpu的结构可能自动或避免进行bp过程；
2、存在一种通用网络，只是输入输出encode/decode不同，内部的核心网络可以是通用而简单的。
3、存在一种二进制的简单网二值络，使其极简化，功耗最小化却不影响智能水平
。。。
