Transformer作者预警：只卖模型玩不过OpenAI！
前言 只卖模型真的不赚钱！
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
本文转载自量子位
仅用于学术分享，若侵权请联系删除
招聘高光谱图像、语义分割、diffusion等方向论文指导老师
谷歌版的Aidan Gomez，是给AI领域带来深远影响的Transformer作者之一。
而现在的Aidan Gomez，是估值飙升55亿美元的Cohere公司的联合创始人兼CEO。（此前推出了Command R系列开源大模型）
在这次与20VC主理人Harry Stebbings的对话中，Aidan Gomez大谈特谈AI的发展趋势。
其中的一些话题引发了网友们的关注和讨论，例如：
- 模型性能提升，规模非唯一途径
- 只卖模型无法和OpenAI抗衡
- AI创业公司不要依赖云厂商
- 看好机器人领域，预言5年内将迎来大突破
- 数据质量对模型来说至关重要
更多具体内容，且看下面的文字版分享~
算力之外，数据与模型创新亦能提AI性能
Q：开始之前，我想问你一个问题，你小的时候喜不喜欢玩游戏呢？
Aidan Gomez：我确实喜欢游戏，我从小就喜欢科技。
Q：也就是说你绝不会在一款游戏中从一个非常困难的第一关开始，让人觉得“不可能完成，我不想玩了”。
Aidan Gomez：是的，这在机器学习中被称为“课程学习”。你要先教模型做一些非常简单的事情，然后逐步增加复杂性，基于已有的知识构建。
有趣的是，课程学习在机器学习中实际上是失败的。我们并没有真正进行课程学习，而是把最难和最简单的材料同时抛给模型，让它自己去弄明白。
但对人类来说，这种方式非常有效，是我们学习的重要组成部分。看到它在机器学习中没有取得成功，真的很有趣。
Q：你刚才说到直接把所有东西抛给模型，我想直接深入探讨这个问题，很多人说只需要更多的计算能力，性能就会提升。你认为这是正确的吗？我们是否还有其他因素在限制性能的提升？
Aidan Gomez：确实，如果你给模型增加更多的计算能力，或者让模型更大，它确实会变得更好。这是提高模型性能最可靠的方式，但也是最笨的。
对于那些资金充足的人来说，这是一个非常有吸引力的策略，风险极低。你知道它会变得更好，只需扩展模型，花更多钱，购买更多的计算能力。我相信这一点，只是觉得这样做极其低效。
有更好的方法。如果你看看过去一年半的时间，比如从ChatGPT发布到现在GPT-4发布的时间段。如GPT-4确实像他们所说的那样有1.7万亿参数，它是一个巨大的MoE。
我们现在有比这个模型更好的模型，它们只有130亿参数。所以这种变化的速度，或者说成本迅速下降的程度，简直是不可思议的，甚至有些超现实。
所以是的，你可以通过扩展规模来达到模型的质量，但可能不应该这么做。
Q：这样的进步会继续保持吗？我的意思是，我们会继续看到这种规模上的进步吗？还是它会在某个时候达到瓶颈？
Aidan Gomez：是的，这确实需要指数级的投入。你需要不断地加倍计算能力才能维持智力上的线性增长。但这种增长可能会持续非常、非常、非常长的时间。
它会变得越来越聪明。但是你会遇到经济上的限制。并不是很多人购买了最初的GPT-4，特别是很多企业因为它非常庞大，非常昂贵，运行效率低下，成本高昂，而它的智能不足以证明这种成本的合理性。
所以，市场上有很大的压力，要让模型变得更小、更高效，通过数据和算法、方法来让模型更聪明，而不仅仅是依赖规模的扩大。
Q：在我们生活的这个世界里，有更小、更高效的垂直化模型，这些模型设计用于特定的用例，是否会出现几个大型的、统治一切的模型？还是会两者兼有？
Aidan Gomez：我们在过去几年中看到的一种趋势是，人们喜欢用一个通用的、智能的模型进行原型设计。他们不想用一个特定的模型进行原型设计，不想花时间微调模型来使其在他们关心的事情上特别出色。
他们想要的是抓住一个昂贵的大模型，用它来做原型设计，证明它可以完成任务，然后将其提炼成一个在特定领域表现出色的高效模型。所以这种模式真的出现了。
因此，我们将继续生活在一个多模型共存的世界中，一些模型是垂直化和专注的，另一些则是完全横向的。
Q：比如说，现在OpenAI花费了30亿美元。你怎么能在这场竞赛中保持自己的位置，除非你是微软、Amazon、Google、Facebook这样的公司？
Aidan Gomez：如果你只是做规模化的项目，你确实需要成为这些公司中的一个，或者成为这些公司旗下的一个子公司。但是，还有很多其他事情可以做。
如果你不完全依赖规模化作为唯一的前进路径，如果你相信数据创新或模型和方法创新，还有很多可以探索的方向。
Q：我们可以深入探讨一下什么是数据创新和模型及方法的创新吗？
Aidan Gomez：几乎我们在开源领域看到的所有重大进展都来自数据的改进。通过从互联网上获取更高质量的数据、改进网页抓取算法、解析网页、提取出重要部分、提升互联网上特定部分的权重，因为互联网上有很多重复和垃圾内容。
通过提取最有价值的、知识丰富的部分，并强调给模型，以及生成合成数据的能力，这些都让我们能够获取大量的文本或网页内容，而无需人类参与，这些数据是由模型自动生成的。
这些创新，特别是提高数据质量的能力，推动了我们目前看到的大部分进展。
Q：好的，这是数据创新，那模型创新呢？
Aidan Gomez：这涉及到像新的强化学习算法。你知道，有很多关于Q*的传闻，以及它可能带来的变化。围绕搜索的想法，比如如何搜索解决方案。
当前模型的状态是我问你一个问题，你的模型需要立即给出正确答案。这对模型来说是一个极其苛刻的要求，对吧？
你不能对人类这样做，你不能问一个人一个难题，然后期望他们立即吐出答案。他们需要时间去思考和处理。
Q：他们有时还需要一点头脑风暴时间。
Aidan Gomez：对，确实需要。所以，模型的一个非常明显的下一个发展步骤就是，你需要让它们思考和解决问题。你需要让它们犯错，尝试一些东西，失败了，理解为什么失败，然后回溯再试一次。
目前，模型中并没有解决问题的概念。
Q：你提到的解决问题，这是否与推理是同一个概念？
Aidan Gomez：是的。
Q：为什么推理这么难？为什么我们现在还没有推理的概念？
Aidan Gomez：推理并不难，难的是我们在互联网上没有太多展示推理过程的训练数据。互联网上大多是推理过程的输出结果。
当你在网上写东西时，你不会展示你的思考过程，而是直接展示你的结论，展示你的想法，而这些都是经过大量思考、经验和讨论后的结果。
所以我们缺乏这样的训练数据，它不是免费提供的，你必须自己构建。因此，像Cohere、OpenAI和Anthropic这样的公司正在做的就是收集展示人类推理过程的数据。
只卖模型，玩不过OpenAI
Q：说到这，我想知道你如何看待与OpenAI的用户生成内容计划竞争呢？
Aidan Gomez：这很难，特别是在企业领域，我们面临着一个巨大的挑战：客户数据的私密性和保密性。
他们视数据为知识产权，包含大量机密信息，因此不允许我们使用这些数据进行训练。我完全理解这种立场。为此，我们将重点转向合成数据，并在此领域投入了大量资源。
我们还组建了一个人类注释员团队，并与Scale AI建立了合作关系。尽管这给我们带来了不小的压力，但因为我们并非面向消费者的公司，我们必须自行生成数据。
所幸的是，我们的专注范围相对较小，主要集中在企业需求明确的领域，如自动化财务和人力资源功能。这使得我们能够更深入地研究和满足这些特定需求。
展望未来十年，合成数据市场将如何发展？是否会被少数几家供应商所主导？目前看来，大语言模型API市场主要由合成数据驱动，许多人利用昂贵的大型模型生成数据，以优化更小、更高效的模型。
这种模式是否可持续尚不确定，但我相信，随着新任务、新问题和数据需求的不断涌现，无论是来自模型还是人类，我们都必须适应并满足这些需求。
Q：那么合成数据市场会是什么样子？它会被两到三家供应商主导吗？
Aidan Gomez：我听说当前的大模型API市场主要由合成数据主导。大多数人都是使用这些大型昂贵的模型生成数据，然后用这些数据来微调更小、更高效的模型。
所以他们基本上是在提炼更大的模型。我不知道这种模式作为市场是否可持续。但我确实认为，总会有新的任务、新的问题或新的数据需求，无论这些数据来自模型还是人类，我们都必须满足这些需求。
Q：有一件事让我感到担忧，或者说让我感到犹豫。你看到OpenAI在进行价格竞争，你看到像Meta这样的公司免费发布模型，同时也没有对开源和开放生态系统的价值进行明确说明。
我们是否正在看到这些模型价值的真正下降？这是不是一场竞相降低价格、甚至是竞相归零的竞争？
Aidan Gomez：如果你只是卖模型，那么在接下来的一段时间里，这将是一场非常艰难的游戏。这不会是一个小市场。
Q：会有很多人只是卖模型，还有一些人会卖模型以及其他东西。
Aidan Gomez：我不想点名，但可以说，比如Cohere，现在只卖模型。我们有一个API，你可以通过这个API访问我们的模型。
这种情况很快就会改变。产品格局将会发生变化，我们会在现有产品基础上增加新的东西。如果你只卖模型，情况会很困难，因为这将变成一个零利润的业务，价格竞争太激烈了。很多人免费提供模型。
尽管如此，它仍然会是一项大业务，市场需求增长非常迅速。但至少在现阶段，利润会非常微薄。
这就是为什么在应用层面有很多兴奋点。市场上的讨论是正确的，指出价值正在芯片层以下发生，因为一开始每个人都在芯片上投入大量资金来构建这些模型，然后在应用层面上看到价值的体现，比如ChatGPT，它按用户收费，每月20美元。
这似乎是目前价值发生的地方。模型层在长期来看是一个有吸引力的业务，但在短期内，按照现状，它是一个利润非常低、商品化的业务。
AI创业公司不要成为云厂商的附庸
Q：现在许多人认为初创公司进入AI模型领域为时已晚。然而，随着成本障碍的降低，这是否反而使得初创公司更容易进入这一领域？
Aidan Gomez：确实，每年构建去年的模型成本都会下降10倍甚至100倍。得益于更优质的数据和更廉价的计算资源，进入上一代模型的门槛降低了。
但问题是，没人真正关心那些过时的模型。与今年的模型相比，去年的模型几乎毫无价值。每一次技术进步都会让旧技术迅速变得陈旧，AI开发的成本正在急剧上升。
开发版本1可能只需1000万美元，但要使版本2略有改进，可能就得再投入100万至200万美元。而现在，开发一个新模型可能需要30亿美元，更新它甚至可能需要50亿美元。
这种增长不再是线性的，而是呈数量级变化。我不确定新一代技术的开发是否总是比上一代更便宜。以芯片和其他复杂技术为例，尽管开发成本在上升，但我们仍在继续研发，因为这是值得的。
Q：所以你的意思是，人们其实并不关心那些改进是否持续有效？
Aidan Gomez：没错。我说的是，改进这些模型变得越来越困难，遇到的阻力也越来越大。另一个有趣的现象是，随着模型变得越来越智能，普通人（也包括我）区分它们之间差异的能力却在下降。
因为我们在医学、数学、物理学等方面的专业知识有限，无法真正感受到这些变化。模型在基础知识方面已经做得非常出色了，这正是我们所能达到的知识水平。
因此，当我们与它们互动时，很难感受到不同代际模型之间的差异。但实际上，这些模型在某些特定能力或纯粹的智能方面有着巨大的进步。
至于是否值得继续投入大量资金推动技术前进，我认为答案是肯定的。即使对于普通消费者来说，这些技术可能并不重要，但对于某些专业领域的研究人员来说却非常有价值。
我们通过提供这些工具来帮助他们取得更多进展。这就像问我们是否应该继续投资下一代技术一样，比如为飞船创造一种新材料以提高其进入轨道的效率。
尽管这对大多数人来说可能无关紧要，但对于那些需要它的人来说却非常重要，而且有市场需求，这就是技术进步得以持续的动力。
Q：我们再次回到成本问题上来。显然，成本很高且未来还会继续增加。你之前提到了“有效的附属公司”这个概念。
现在许多公司被收购或合并，而云服务作为持续增长的动力也备受关注。你认为在未来三到五年内，大多数小型模型提供商会被大型云服务提供商收购吗？
Aidan Gomez：我认为这个领域确实会经历一次整合，而且已经开始发生了。许多模型开发者已经被大型云服务提供商如Amazon吸纳。
我相信未来这种情况还会更多。但需要注意的是，成为云服务提供商的附属公司可能会带来风险。对于业务发展来说，这并不是一个好现象。
通常情况下，为了筹集资金，你需要说服那些只关心资本回报率的投资者。但当你从云服务提供商那里筹集资金时，情况就完全不同了。
Q：那么你认为过去几年中风险投资者从模型投资中赚到钱了吗？
Aidan Gomez：对于Cohere的投资者来说，他们肯定会赚很多钱。
我为那些相信我们的人感到高兴。我们的第一位投资者Radical Ventures的Jordan Jacobs现在仍然在我们的董事会中，并且非常积极地参与公司的建设。我甚至称他为Cohere的第四位联合创始人。
Q：最近有媒体报道称公司估值略高于5.5亿美元，这会给你带来压力吗？
Aidan Gomez：这确实是一种压力，但同时也是种积极的压力。最终每个公司都会面临收入倍数的考量，最终与公共市场的倍数趋同。
我认为我们的情况实际上比许多同行要好得多。因为我们的估值并没有像其他一些公司那样疯狂增长。当然我们还需要继续发展壮大，但我对市场充满信心。
目前由于价格竞争和免费模型的存在利润率受到一定压力但随着时间的推移这种情况会有所改变。同时Cohere的产品组合也将不断进化和发展。
没有任何东西能取代人类
Q：假如你现在是20VC的投资人，你认为机会在哪里？
Aidan Gomez：产品领域、应用领域仍然非常有吸引力。这些技术将会带来新的产品，它们将改变社交媒体。人们喜欢与这些模型交流，使用时间非常惊人。
Q：你觉得这是件好事吗？我不希望我的孩子生活在一个他们与生成式系统交流、模仿人类的世界中。我不希望他们从与一个模型的对话中获得满足感。
Aidan Gomez：你可能错了。你可能希望你的孩子能够与一个极其富有同情心、非常聪明、知识渊博、安全的智能体交流。
它可以教给他们东西，和他们一起玩，它不会对他们发脾气，不会对他们发火，不会欺负他们，不会让他们产生不安全感。
当然，没有任何东西能取代人类。没有什么可以取代人类的世界，我们不会突然间全都开始与ChatBot约会，导致人类出生率下降。
我不认为会发生这种情况，对吧？我想要一个孩子，我不能和一个ChatBot一起生孩子。
人类伴侣对我来说比任何ChatBot都要宝贵得多。就像在职场中，我不认为我们能够完全取代人类。AI会增强人类的能力，使人类变得更加高效，但这并不意味着工作岗位会减少。
你无法取代人类。想想销售吧，如果我是由一个机器人推销的，我是不会买的。就是这么简单，我不想和机器对话。
当然，某些简单的购买可能可以由机器人处理，但对于那些对我和我的公司来说非常重要的购买，我希望另一方是一个可以负责的真人。
如果出现问题，我需要一个有权力进行干预的人。所以我真的认为，无论是在消费端，我们是否会沉迷于与ChatBot 对话，还是在工作端，工作将会消失，导致大规模失业，我都看不到这些情况发生。
Q：我同意你的观点，但我确实担心低端岗位，比如说一个客户服务团队可能会失去70%到80%的员工，肯定会有局部的替代现象。
Aidan Gomez：肯定会有局部的替代发生。但总体上，这将是增长，而不是替代。某些角色确实容易受到技术的影响，客户支持就是其中之一。
但最终，仍然需要有人来做这些工作，只是数量可能会比今天少。但客户支持是一个艰难的角色，这是一个心理上非常消耗人的工作。如果你曾经听过那些电话录音，你就会知道这是一份情感上非常消耗的工作。
Q：是的，这有点像社交媒体平台上的内容审核，那在很多方面也是一种心理创伤。
Aidan Gomez：每天你醒来，去工作，整天被人骂，还得道歉。所以，也许我们应该让模型处理这些对话，而让人类来处理那些真正需要人类帮助的客户支持问题，比如说，解决某个问题，没有情绪化的抱怨，而是有机会让这个人的生活变得更好。
AI的下一个大突破将出现在机器人领域
Q：你认为AI今天还不能做什么，但在三年内将会成为现实并带来巨大变革？
Aidan Gomez：AI的下一个大突破将出现在机器人领域。成本需要降低，但成本已经在下降。然后我们需要更强大的模型。
Q：为什么你认为机器人领域将会有大的突破？
Aidan Gomez：因为很多障碍已经消失了。之前机器人的推理者和规划者非常脆弱，你必须为每个任务编程，它们被硬编码到特定的环境中。
所以你必须有一个布局完全一致的厨房，尺寸相同，没有任何不同的地方，这非常脆弱。但在研究方面，通过使用基础模型、语言模型，人们实际上开发出了更好的规划者，它们能够更自然地推理世界。
所以已经有很多公司在研究这方面，可能很快就会有人破解通用人形机器人的难题，使其价格便宜且更加稳定。
这将会是一个巨大的转变。我不知道这是在未来五年内发生，还是十年内发生，但它肯定会在这个时间范围内出现。
数据质量不能忽视
Q：今天和你聊天真的很有意思。我想进行一个快问快答，我给出一个陈述，你立刻给出你的想法
在过去的12个月里，你对什么改变了最大的看法？
Aidan Gomez：数据的重要性。我严重低估了它。我曾经认为一切都在于规模化，但在Cohere内部发生的许多事情彻底改变了我对构建这项技术的重要性因素的理解。
数据质量至关重要。质量，比如在数十亿个数据点中，一个错误的例子就能对模型产生显著影响。这有点不真实，模型对数据的敏感性是如此之高，每个人都低估了这一点。
Q：到目前为止，你们公司共筹集了多少资金？
Aidan Gomez：大约10亿美元。
Q：哪一轮筹资最容易？
Aidan Gomez：可能是第一轮。那时就像一场简单的对话，他们说：“给你几百万美元，试试吧。”所以我觉得那轮融资相当轻松。
Q：筹集5亿美元时，过程肯定更复杂。当你看到5亿美元到账时，是不是有点难以置信？
Aidan Gomez：确实有点。比如每年2500万美元，虽然具体数字我不确定，但这确实是一大笔钱。Cohere改变了我对经济和金钱的看法，现在5亿美元对我来说已经不算什么大数字了。
Q：这让你感到担忧吗？
Aidan Gomez：不，这是我们战略的一部分。如果我们愿意接受那样的条件，我们可以接受。但我们的战略是保持独立，自主发展。
Q：如果你能选择任何一位世界级的董事会成员，你会选谁？
Aidan Gomez：Mike Volpi和Jordan Jacobs，他们现在是我的董事会成员。
Q：为什么你觉得Mike是个优秀的董事会成员？
Aidan Gomez：Mike非常出色，他似乎经历过一切。我可以向他请教几乎任何问题，他都有过类似的经历，并能给出宝贵建议。
Q：Jeff Hinton和Yann LeCun，你更倾向于谁？
Aidan Gomez：肯定是Jeff，我和他的私人关系更亲密。
Q：你认为Yann过于乐观了吗？
Aidan Gomez：不，我更赞同Yann对AI的看法。Jeff更偏向于末日预言，而Yann则更乐观。虽然Yann现在有点像Elon Musk的“回复哥”，但Jeff确实是个聪明且有思想的人。
Q：最后一个问题，你觉得你从未被问过但应该被问的问题是什么？
Aidan Gomez：人们总是问我技术的未来和潜在风险，但很少讨论技术带来的机会。
Q：那你希望技术的未来走向何方？
Aidan Gomez：我认为我们应该利用技术提高世界生产力，增加供应并使事物变得更丰富、更便宜。生产力可能听起来不太吸引人，但如果将5%的生产力提升应用于NHS。
这将对国家状况、预算和数百万人生活产生重大影响。所以我认为我们的首要任务应该是提高生产力和增长。
视频地址：
https://www.youtube.com/watch?v=FUGosOgiTeI
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。
其它文章
LSKA注意力 | 重新思考和设计大卷积核注意力，性能优于ConvNeXt、SWin、RepLKNet以及VAN
CVPR 2023 | TinyMIM：微软亚洲研究院用知识蒸馏改进小型ViT
ICCV2023|涨点神器！目标检测蒸馏学习新方法，浙大、海康威视等提出
ICCV 2023 Oral | 突破性图像融合与分割研究：全时多模态基准与多交互特征学习
HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法
南科大提出ORCTrack | 解决DeepSORT等跟踪方法的遮挡问题，即插即用真的很香
1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4
SAM-Med2D：打破自然图像与医学图像的领域鸿沟，医疗版 SAM 开源了！
GhostSR|针对图像超分的特征冗余，华为诺亚&北大联合提出GhostSR
Meta推出像素级动作追踪模型，简易版在线可玩 | GitHub 1.4K星
CSUNet | 完美缝合Transformer和CNN，性能达到UNet家族的巅峰！
