多模态模型机器人PaLM-E and高端手机Magic时代
多模态模型机器人PaLM-E and高端手机Magic时代
谷歌发布5620亿参数多模态模型PaLM-E，机器人操控无所不能
谷歌悄悄上线了一个炸弹级模型——足足有5620亿参数！
PaLM-E 将真实世界的传感器信号与文本输入相结合，建立语言和感知的链接。
规模最大的模型“PaLM-E-562B”具有562B个参数，将540B的PaLM和22B的ViT集成在一起，这是目前报道的最大的视觉-语言模型。
模型输入包括视觉、连续状态估计值和文本输入。作者在多个任务（包括顺序机器人操作规划、视觉问答和字幕生成）中进行了端到端的训练，并通过评估表明，其模型能够有效地解决各种推理任务，并且在不同的观察模态和多个实体上表现出了积极的转移。该模型在进行机器人任务训练的同时，还具有先进的视觉-语言任务表现，并随着规模的增大保持了通用的语言能力。
论文链接：
https://palm-e.github.io/assets/palm-e.pdf
PaLM-E 是什么
PaLM-E是一个单一通用的多模态语言模型，可用于感知推理任务、视觉语言任务和语言任务。它将来自视觉语言领域的知识转化为体验推理的知识，从具有复杂动态和物理约束的环境中进行机器人规划，到回答关于可观察世界的问题，都可轻松搞定！
它支持多模态输入，来自任意模态（例如图像、三维表示或状态，绿色和蓝色）的输入插入文本token（橙色）旁边作为LLM的输入，进行端到端的训练。
PaLM-E的主要架构思想：将连续的、可感知的观察数据注入预先训练的语言模型的嵌入空间中，以使其能够理解这些连续数据。这是通过将连续观测数据编码为与语言嵌入空间中的语言标记具有相同维度的向量序列来实现的。这种连续信息以类似于语言标记的方式注入语言模型中。
PaLM-E是一个仅具有解码器的语言模型，可以自动地根据前缀或提示生成文本完成结果。该模型使用预先训练的语言模型PaLM，并将其赋予感知推理的能力。
模型在真实世界里的表现如何呢？
我们展示了几个示例视频，展示了如何使用PaLM-E在两个不同的真实实体上规划和执行长期任务。请注意，所有这些结果都是使用同一模型在所有数据上训练得出的。在第一个视频中，我们执行了一个长期指令“从抽屉里拿来米饼”，其中包括多个规划步骤，以及整合了机器人摄像头的视觉反馈。最后，在同一机器人上展示另一个示例，指令是“给我带一个绿色的星星”。绿色的星星是这个机器人没有直接接触过的物品。
高端手机进入Magic时代
谁是中国高端手机的标杆？
这问题放三年前，答案很明确，那就是华为。
2020年10月，华为发布其巅峰之作——Mate40系列，卓越的性能和惊艳的表现，创造了中国高端手机的一代神话。
但之后，随着华为芯片受限，整个国产高端手机跌入谷底。
在此期间，尽管很多中国手机品牌宣布征战高端，并发布了大量旗舰手机，但创新乏力导致产品力不佳，国产高端努力遭遇重挫。
甚至，就连苹果，也因为没有华为的竞争，陷入创新的停滞期。
由此带来的是，消费者换机周期不断加长，从最初18个月，增加到36个月，市场销量也随之下滑。
并非消费者不爱买手机了，而是产品缺乏创新，用户失去了购买的理由。
这样的格局，已经持续了三年，整个市场都在期待一款能够打破僵局的产品。就在刚刚，我们看到了希望的曙光。
2023年3月6日，荣耀在国内正式发布最新一代旗舰手机——荣耀Magic5系列。
作为荣耀史上研发周期最长的一款旗舰产品，Magic5系列集当下前沿科技之大成，在影像、屏幕、通信、续航四大领域实现质的突破。
续航，是手机用户最大的焦虑之一。
过去，受制于机身厚度和重量，主流手机的电池容量多在5000毫安以下。
Magic5系列通过全球首发的硅碳负极电池技术，将电池容量提升至5450毫安，实现手机续航能力的跨越式提升。
荣耀给这项技术起了个很性感的名字——青海湖技术，它在某种程度上，开辟了手机电池技术的新赛道。
地铁、车库、电梯等弱网环境下，手机信号差困扰了很多人。
Magic5系列搭载首款自研射频增强芯片，大幅改善了弱网环境下的通信体验，即使信号见底也能通信。
在此之前，华为Mate40系列一直是手机通信能力的天花板。
Magic5系列捅破这一天花板，将手机通信能力提升至一个新的高度。对此，荣耀CEO赵明表示，“我们将超越华为的最强的通讯能力。”
从影像、屏幕，到通信、续航……多维度的技术大爆发，也使得荣耀拥有了与苹果、华为掰手腕的能力。
稍早前的MWC 2023上，Magic5系列已凭借鹰眼精彩抓拍等功能，惊艳全场。
而且，在国际权威的DXO评测中，Magic5系列在影像、屏幕两个最核心的指标上，同时排名第一。
这是华为Mate40系列也未能斩获的殊荣。
荣耀也因此成为此次MWC展会上最耀眼的一颗星，斩获42个海外媒体大奖，其中Magic5系列独揽其中的18个。
在推特公布的MWC消费电子品牌话题数据榜上，还以39%的话题量排名第一，遥遥领先于其他对手。
过去几年，由于华为受限，中国手机一直缺少一个行业标杆和领军者。
表现在市场上，国内高端手机被苹果一家独占。海外市场，尤其是欧美高端市场，国产手机的份额不断被苹果、三星蚕食。
整个行业都在期待一个新的标杆。
对此，所有头部厂商都在跃跃一试。目前看，正在从MWC小展台走向世界大舞台的荣耀最有希望接棒华为。
刚刚从海外载誉归来的Magic5系列，打破多项创新壁垒，在业内激起了创新的浪花。
对此，荣耀CEO赵明在国内发布会后，接受媒体采访时，也表示：
“今天荣耀Magic5系列发布对行业最大的价值而言，其实就是扔进了一个石头，激起一些浪花，让行业创新的氛围更强了。”
这种创新的氛围，对于手机行业走出当前的低迷，尤其重要。
经过几年的群龙无首，国产手机也终于迎来了新的标杆。
【什么才是标杆该有的样子？】
回顾手机产业史，就是一部创新驱动的历史。
那些敢于挑战最强大的对手，敢于捅破整个行业的天花板，带来突破性创新的企业，才能成为行业的标杆和新的领军者。
2007年，当诺基亚、摩托罗拉还沉醉在传统功能机市场时，52岁的乔布斯对手机行业的不思进取怒不可遏。
在他看来，这些手机烂透了。在苹果公司的一次产品评述会议上，乔布斯说：我受够了跟这些愚蠢的公司打交道，我们自己来。
最终，苹果以一款惊世骇俗的iPhone，改写了手机产业史。
十年后的2018年，当手机行业已经习惯了苹果的强大时，华为通过硬件突破和算法革新，重新定义了手机影像。
手机影像上的大胆突破，加上自研的麒麟芯片，使得当年发布的Mate20系列，成为一代机皇。
华为手机也由此开启全球称霸之路。
苹果和华为的例子告诉我们，一个标杆品牌，首先要有领先整个行业的突破性技术和舍我其谁的霸气。
靠别人的技术，堆硬件、拼参数，以及零敲碎打式的研发，无法引领行业，更不可能成就高端手机之路。
在国内头部厂商中，如果说，谁最有华为的气质？荣耀必居其一。
尽管用赵明的话来讲，荣耀没有从华为带走一张图纸，但它无疑继承了华为对于创新的执著以及敢执行业之牛耳的霸气。
独立三年来，荣耀以科技理想主义，大胆对标行业最强对手——苹果和华为，不断在底层技术上取得突破，最终在Magic5系列上实现全面爆发。
抓拍糊了、弱网信号差、电池续航焦虑等，一直是消费者的痛点。
过去这些年，手机厂商针对这些痛点，做了很多技术上的改进，但大多停留在修修补补和零敲碎打的层次。
这样的改进，很难带来用户体验的显著提升，也很难转化为消费者的购机欲望。
要想激活市场，必须有令人惊艳的创新，而这需要付出巨大的代价。
当年，乔布斯为了完善多点触控的体验，花了大半年时间，不断地改进。华为在开发麒麟芯片期间，遭遇了种种挫折。
荣耀自然知道其间的辛苦，但依旧坚持笨鸟精神，挑战最难走的路。
青海湖技术，要颠覆过去的传统材料，采用硅碳负极技术，整个行业经验有限。
为了取得突破，研发团队憋着一股劲儿，共识别出5大类、240余个软硬件优化点，并行开发了9套技术方案，对1万多只电池进行测试分析。
可以说，整个过程，就是不断推翻自己的过程。
“做产品，就是把消费者最核心的体验场景做到极致，就像水滴石穿，不只是水的力量，更是坚持的力量。”
鹰眼精彩抓拍，解决了多年来消费者对于抓拍经常糊了的困扰。
为了帮助他们留住精彩的瞬间，荣耀与供应商协同，从软硬件两方面，对传感器主摄、融合计算摄影和计算光学，进行了全面升级。
青海湖技术和鹰眼精彩抓拍，只是荣耀坚持极致产品主义，坚持“消费者需求和技术创新”双轮驱动的一个缩影。
过去几年，在这一理念的指引下，荣耀从打破系统边界的MagicOS，到多主摄融合计算摄影，再到对芯片的底层调教……不断突破行业技术的天花板。
这也使得荣耀在打造旗舰产品时，显得信心满满。
“我们具备可以挑战任何对手，打造标杆式的旗舰产品的一个能力和认知。”荣耀CEO赵明表示。
在这背后，是荣耀对前沿技术领域的长期投入，每年占营收10%的研发投入，远高于行业。
正是这种大投入和敢于捅破行业天花板的勇气，换来了Magic5系列的标杆地位。
【起来，挑战苹果和三星】
在华为领衔的时代，中国手机在高端市场，曾拥有足以匹敌苹果、三星的市场份额和全球影响力。
2020年以前，国内4000元以上高端手机市场，华为一度占有45%以上的份额。
Mate系列和P系列，更成为整个行业的标杆，是当时最好的国产旗舰手机，其风头一度盖过了苹果iPhone系列。
在那以后，由于芯片受限，华为手机逐渐淡出。
高端市场也因此，成为中国手机的伤心地。
尽管许多头部厂商征战高端，抢当标杆，但由于创新乏力，不但没能收复华为的失地，反而被苹果横扫。
华为之后，谁来扛起中国高端手机的大旗？这对消费者和整个行业，一直是个问号。
但经过两年多的洗礼，这个问题的答案逐渐清晰起来。
两年前，荣耀刚独立时，很多人并不看好。经过两年的蛰伏、蓄力，荣耀最终证明了自己的实力。
华为手机凭什么在高端市场上，一度击败了苹果？
最根本的原因在于，它领先于整个行业的技术创新，比如在影像领域颠覆了传统，其高性能的麒麟芯片打破了安卓阵营的性能天花板，等等。
对比来看，今天的荣耀，最有华为相。
经过两年的能力孕育和技术积累，荣耀在第三年、第三代旗舰产品Magic5系列上，实现了全面爆发。
无论在影像、屏幕，还是通信、续航等领域，Magic5系列都做到了行业第一。
手机行业有个潜在规律：三代出神机。三年磨一剑的荣耀，最终拔剑出鞘，亮出了比肩甚至超越华为Mate系列的产品。
在当年的送别会上，荣耀曾被勉励：要做华为最强的对手。
这个略带悲壮，但极为大胆的许愿，如今在荣耀团队的努力下，正一点点变为现实。
对此，荣耀CEO赵明在接受采访时，也极为自信：2023年荣耀一定要树立在最顶级的高端旗舰手机上，与最强对手进行PK、去掰手腕的目标。
要实现这样的目标，就要敢于到苹果和三星最核心、最重要、最强大的市场上去，与之进行竞争。
从这个意义上讲，Magic5系列选择在欧洲首发，只是荣耀征战海外、加速全球化布局的开始。
当年的华为，也正是沿着这样一条路径，不断前行，直至登顶。
挑战苹果和三星，与最强者站在一起，是作为一个行业领军者和标杆应该有的样子。而荣耀也做好了这样的准备。
在接受媒体采访时，荣耀CEO赵明表示：
“对荣耀而言，最重要的就是坚持我们所走的方向和道路，在以消费者为中心的极致产品主义上，在消费者的体验上，敢于和任何的对手，包括苹果去竞争。”
一个有意思的细节是，在MWC 2023展会上，三星展台对面，从华为终端变成了荣耀。这看似巧合的一幕，预示着荣耀将接棒华为，在国际市场上正面PK苹果和三星。
这或许宣告了，中国手机一个新时代的开始。
Reference
https://mp.weixin.qq.com/s/yZt3sEQPzVjnIvqXsNOnPA
https://wap.peopleapp.com/article/rmh34327727/rmh34327727
