ChatGPT
GPT即Generative Pre-trained Transformer，其中Generative Pre-trained利用简单的对文章进行挖空训练，跳过了数据集的人工标注过程，使得模型可以将一切人类的文章作为训练集，搭配性能高效的Transformer，极大地提高了模型的性能。
NPL通过GP的过程极大地扩充了有效数据集，即便数据量-模型性能的曲线是一个类对数函数，近乎是无穷尽的数据集与性能高效的Transformer让这一条提高性能的路看不到尽头。
至此，模型进化的瓶颈从数据集转换为了机器的学习速度。Generative Pre-trained是一项很直观简明的技术，百行以内的脚本就可以时间这个预处理，但普通人训练的模型却不可能有chatGPT的性能——大公司大资本下的模型训练速度是个人、团体的数千万倍。
机器学习速度的上限是钱。
这也就很直观地引出一系列问题，最前沿的人工智能的掌控权似乎又回到了资本手里，谁能出得起钱谁就拥有性能优异的模型。模型是钱垒出来的，不大可能公开（即使公开也会是比较老的版本），那么其复现就变成了一件不可能的事情，除非你也咂进这么多钱用以训练。这样一来垄断便产生了，在马太效应的虹吸下，这条路的终点似乎已经展示在我们眼前——终极的人工智能所属于终极的公司。
假以时日，谁又能监管这个模型并为它负责呢？终极模型学习的数据是公司提供的，谁又能保证这部分数据的客观性呢？谷歌能用搜索排行影响美国大选，在本人看来，我们不应该把这样的权力交由资本。
以上为之前笔者的论调，下述内容笔记于岱川博士: 最具争议的一期 - 为何我对ChatGPT不那么兴奋：
对于ChatGPT的态度：作为科学家，对新技术很兴奋；作为人类却并不这么认为。其中心论点是：技术的发展应该与人类社会的发展相适应。博士并不认为目前人类社会的发展水平能很好地将人工智能引导向正确的方向，有了强大技术的支持，人类可能会在错误的道路上跑得飞快。
以下是其分论点：
其一：人工智能会带来很多颠覆。
颠覆在现代社会似乎是一件好事——直到你被颠覆了。在可以见到的很短期的未来甚至是现在，很多职业正在被人工智能颠覆，失业在所难免。说到颠覆我们经常会讨论：在可以预见的未来，这样的失业是否会创造更多的工作岗位呢？颠覆是否只是一个阵痛，最终像工业革命一样创造新的社会形态呢？这是新技术出现时很常见的论点，maybe，maybe not，我们可以保留意见，但问题的关键是，不是工作岗位的净数量增加就行了，而是新产生的工作岗位的质量如何。会有更有价值有意义的工作岗位出现来代替被剥削的岗位吗？结果仍然不明朗。（在笔者看来，这个问题的答案甚至是十分消极的）
其二：谁会是人工智能发展最后的赢家？
就如同笔者在笔记之前提到的，大概是投资人工智能的资本家们。通常，技术发展会让收益集中在百分之一的人身上，而非百分之九十九。这里又是一个普遍被讨论的点，这确实是社会进步、生活水平提升所付出的代价——资本家们赚钱的同时，普通人也能从中获取某些好处，毕竟技术确实是在发展。那么问题来了，最终对全体人类而言，利会大于弊吗？依然尚不明确。我（岱川博士），没有看见人类是如何普遍地使用AI，没有看见AI如何造福全体人类，尤其是底层的苦难人民。没有实质性的证据，我们怎么能确保造福全人类会切实发生呢？我只看到了一堆卖点，甚至其中之一是前文提到的减少就业岗位，而这些卖点不一定有利于人类的总体幸福。
其三：关于人工智能的运作方式：
现阶段的AI是没有创造力的，尽管它可以假装它有。它所做的只是将人类做过的事情汇总在一起。这是有意义的，可以极大地提高我们查找资料的效率（比如说查找有用的论文）。但AI的运作方式会不断地强化其原始数据中的偏见和规律。随着AI创作出新的内容，这些内容又会变成其他AI的数据源，在这个过程中错误、偏见、偏差被不断的循环强化，这是典型的回声效应。除非人类主动加以干预。
（在笔者看来，人类的主动干预是否也是一种新的训练集的瓶颈呢？人类的效率必然比不上AI学习的效率，资本会怎么做呢？不加以干预的数据会对AI有多少影响呢？其数据源来自于网络，声音大的一定就是数量多的人发出的声音吗？AI不能自己思考，一个正常的能自我思考的人能从荒谬的事情中看到荒谬，而AI只能从荒谬中看到正确。训练集即是真理。）
（之前说的公正性也就是这个道理了。）
以上三点读者或许已经有所耳闻，人类可能可以通过某种方式对这些bug进行修复。增加岗位、指定规章制度加以限制......等等。我们不妨抽象一些，从ChatGPT身上抽离出来看看更加根基的东西——
其四：“通往痛苦的捷径”
凯恩斯预言，我们现在已经不需要工作了。按照生产力发展的规律，技术能满足人类的基本需求，我们可以把剩下的时间花在休闲社交和创造性的追求上，（凯恩斯的预言是建立在生产力发展规律上的，我们先不论他对生产力和科技的发展规律理解是否到位，这句预言的重点是：随着科技的发展，人类应该会有更多的剩余时间）——这显然没有发生。原因有很多——人类太过于贪婪。我们之中本可以过上舒适生活的人选择不那么做，他们选择获得更多、消费更多、获利更多（获利更多：资本作为目的而不是手段导致的无限增值）。科技被用于来实现我们的贪欲而非让我们获取更多的空闲。我们在科技的帮助下节省下来的效率被重新投入消费。如果读者也同岱川博士以及笔者一样相信消费并不是通向幸福的钥匙，那么这样的趋势就是错误的。事实上，科技正用于掩盖真正使我们成为人类的东西（人的异化），被用来掩盖真正能让我们感到快乐的东西。这是“通往痛苦的捷径”。如果科技仅仅是促成了更多的消费——更多实际上没有给我们带来幸福的东西，那科技就不是一个好的东西。这不是在批判科技，问题的关键是，如果你把科技放在一个人手中，而这个人恰巧相信人幸福的前提是更多的消费、更多的环境退化、更多开发、竞争等等，我们就会去往痛苦的终点。
其五：人类到底应该如何使用这门技术？
当ChatGPT首次亮相的时候，马斯克推特说“再见了作业。”很多人这么来强调科技的效率。但这真的是好事吗？事实是，作为人类，我们从完成任务中获得乐趣，有时我们做事并不是追求其最高效率，而是因为这件事能让你表达你的人性。做作业、读书、做研究挑战自我，这些过程本身就能给人类带来满足感。当我们尝试将其自动化，我担心我们越是抽象我们自己以及我们何以为人的本质，这会给人类带来幸福吗？这会给人来带来更多意义吗？
综上，岱川博士绝不是反对科技的发展，ChatGPT作为科技本身的成就非常地令人振奋，但技术发展和人类的发展需要齐头并进。科技越强大，我们作为人类所承担的责任就越大。时刻保持清醒，认清什么会给人类社会和个人幸福带来增益。然而，我所担心的（希望不会成真）是在人类发展方面，我们正在倒退，而科学发展方面，我们正在前进。最终，这只会让我们加速走向更多苦难。
