GPT-4o 调研报告

1 报告内容

1.1 说明

本文是一篇关于 GPT-4o 的调研报告，主要关注 GPT-4o 的技术路线、新增特性、优劣势、性能以及应用场景。报告的内容主要参考了 [1] 、[2] 和 [3] 。

1.2 简介

GPT-4o 全称是 GPT-4omni，是 2024 年 5 月 13 号 OpenAI 发布的最新多模态 LLM，其中 omni 来自拉丁语 omnis, 寓意其无所不能的多模态能力。GPT-4o 在 AI 技术上带来的巨大的突破，其可以理解和处理多种模态的输入，包括文字、图像、语音和视频，并且是第一种具备从视频中解读情绪的 LLM 模型。基于这种多模态数据的分析能力，GPT-4o 极大增强用户的在 AI 技术上体验。目前 OpenAI 仍在提升它的能力，预期很快就会有新的更新。它在多模态数据上的高效处理能力，使其具有更高的成功率、更快的响应速度以及更低的代价。

1.3 技术

GPT-4o 建立在之前的架构之上，集成了上下文窗口大小、标记化效率和多模态功能方面的增强，包括处理文本、音频、视频和图像。这个单一模型在文本、视觉和音频方面进行端到端训练，确保所有输入和输出都由同一个神经网络管理。它采用带有人类反馈的精细强化学习 (RLHF) ，显著提高了其与人类价值观和道德标准的一致性。GPT-4o 还具有先进的Transformer架构和增强的自我注意机制，可以更好地理解和生成细微的、与上下文相关的响应。利用 Nvidia 最先进的 GPU （以其并行处理能力而闻名），GPT-4o 可以有效地处理其复杂架构所需的大量计算。由于使用更大的训练会话，该模型在可扩展性方面提供了更好的性能。GPT-4o 的速率限制比 GPT-4 Turbo 高 5 倍——每分钟最多 1000 万个令牌。这些进步使 GPT-4o 成为从对话式 AI 到内容生成和数据分析等各种应用的多功能工具。

a）o200k 基础标记器：GPT-4o 引入了一种新的 o200k 基础标记器算法，标志着与 GPT-4、GPT-4 Turbo 和 GPT-3.5 Turbo2 使用的 cl100k 基础标记器的转变。标记化将文本分解为称为标记的较小单元，这在 NLP 中至关重要。o200k 基础标记器通过更快、更高效的方式改进了以前的方法，使 GPT-4o 能够以前所未有的速度处理和生成语言。它增强了生成文本的语义连贯性，并改进了对多种语言的处理，扩大了 GPT-4o 在各种语言环境中的适用性。

b）RAG-GPT：RAG-GPT3 是检索增强生成 (RAG) 技术的高级实现，旨在通过将 LLM与高效的文档检索系统集成来增强其功能。这种集成允许 RAG-GPT 在查询处理过程中从广泛的知识库中获取和整合信息，从而提供更准确、更符合上下文的响应。将 RAG-GPT 集成到 GPT-4o 中可以提供精确而有根据的答案，这对于需要详细和最新信息的应用程序特别有用。这种方法不仅可以提高生成内容的质量，还可以更可靠地处理专业和复杂的查询。

C）上下文窗口：GPT-4o 具有令人印象深刻的 128k 个标记的上下文窗口大小。更大的上下文窗口允许模型在单次交互中维护和处理大量信息，从而增强其理解和生成与扩展对话相关的响应的能力。这个大的上下文窗口对于需要大量上下文保留、跟踪对话的多个线程以及集成多条信息的复杂任务特别有益。

d）云基础设施和 API 访问：GPT-4o 旨在部署在可扩展的云基础设施（Microsoft Azure）上，为各种应用程序提供灵活的 API 访问。这种基于云的部署模型允许无缝扩展以满足不同的用户需求和工作负载。

1.4 特性

GPT-4o 具备了很多新的特性，支持其强大的功能：

1. 多模态性：GPT-4o 是最新的多模态 LLM。它可以理解和生成口语，识别语音以转录文本并使用文本转语音来生成语音。它的视觉功能使其能够解释和生成视觉内容，例如识别图像、生成新图像以及通过分析上传的图像来解决问题。在文本交互中，GPT-4o 在 NLP方面表现出色，使其能够撰写论文、回答问题、提供摘要以及根据用户输入创作故事或诗歌。

2. 增强交互：用户可以更动态地与 ChatGPT 交互，实时中断和接收响应。该模型可以检测用户情绪中的细微差别并以各种情绪语调做出回应，使对话更加自然和引人入胜。此外，它还可以处理需要广泛知识的交互式问答环节。

3. 数据分析：用户可以从上传的各种文件格式的数据中创建交互式表格和图表。Chat-GPT 会自动生成交互式表格视图，使用户可以滚动浏览所有行和列。用户可以通过指定图表类型或自动选择来创建交互式图表，自定义这些图表的图形，并生成摘要来解释他们的发现。

4. 多语言：GPT-4o 能够响应 50 种不同的非英语语言。这种熟练程度确保了为全球受众进行有效的沟通和内容生成，使其成为多种语言应用的宝贵工具。

5. 记忆：聊天 GPT 引入了记忆功能，以避免用户在对话中重复信息并增强未来的互动。用户可以控制记忆；他们可以指示它记住或忘记特定的细节，询问它记住的内容，并管理这些设置或完全禁用记忆。

1.5 优势和问题

GPT-4o 的优势

1. 更快的响应：GPT-4o 可以在短短 232 毫秒内响应音频输入，平均为 320 毫秒，这与人类在对话中的响应时间相似。

2. 成本效益高：由于我们使用一个模型来处理各种类型的输入数据，因此该 GPT-4o 模型具有成本效益。与之前的模型 GPT-4 Turbo 相比，这个聊天机器人的处理成本降低了约50%。

3. 安全可靠：与之前的模型相比，GPT-4o 安全可靠。该模型基于人类的反馈，以强化学习为骨干，使其更加可靠。他们还通过使用反馈减少了误导性内容生成的数量GPT-4o 面临的挑战GPT-4o 的音频模型仅限于预设的声音，模型的发音或解释有时可能不正确。此外，数据泄露仍然是数字世界的一个重要问题，强调需要保护用户数据并遵守数据保护法规以保持信任和法律合规性。确保负责任地使用人工智能、避免偏见和遵守道德规范是至关重要的考虑因素。

图 1: OpenAI 提供的性能对比

1.6 性能

OpenAI 对其模型和同类模型进行了性能比较。图 1a 展示了文本评估结果，显示 GPT-4o 在 MMLU（88.7%）、GPQA（53.6%）、Math（76.6%）和 HumanEval（90.2%）基准测试中取得了最佳（SOTA）性能。对于 MGSM 基准测试，Claude 3 Opus 表现最佳（90.7%），其次是 GPT-4o（90.5%）。对于 DROP 基准测试，GPT-4T 表现最佳（86.0），其次是 Gemini Ultra 1.0（83.5）和 GPT-4o（83.4）。图 1b 展示了各种视觉评估集之间的性能比较。与文本评估集类似，GPT-4o 在大多数指标中始终优于其他模型，在 MMLU（69.1%）、MathVista（63.8%）、AI2D（94.2%）、ChartQA（85.7%）、DocVQA（92.8%）、ActivityNet（61.9%）和EgoSchema（72.2%）中均达到 SOTA。GPT-4T 紧随其后，但略微落后于 GPT-4o。对于选定的评估集，从图 1 可以清楚地看出，GPT-4o 在这些任务中表现出强大的能力，而 Gemini1.0 Ultra、Gemini 1.5 Pro 和 Claude Opus 表现出竞争力，但总体上性能较低，在特定任务中有一些例外。OpenAI 在 GitHub 上提供了一个名为 Evals7 的评估框架。该框架提供了评估 LLM 的工具，并包含一个开源基准注册表。它使用户能够使用数据集创建和运行评估以生成提示、评估模型输出的质量以及比较各种数据集和模型的性能。

1.7 应用场景

GPT-4o 有潜力通过简化人类生活的各个方面，显著地实现世界的现代化和数字化。它的多种应用涵盖众多领域，如下所述，展示了它对广泛领域的巨大影响。

a) 教育：GPT-4o 可以逐步指导学生解决任何数学问题，而无需额外的辅导。此外，它还可以用于学术研究，生成研究论文摘要、建议研究主题以及从大型数据集中提供见解。这些功能加速了研究过程，并通过使研究人员能够快速理解和探索大量信息，促进学术进步。

b) 医疗：GPT-4o 可以分析医学图像和患者数据，帮助医生更准确、更快地诊断疾病。它通过处理查询、提供有关医疗状况的信息以及通过聊天机器人管理预约安排来增强患者互动。它还可以通过提供语音转文本和文本转语音解决方案来支持有视力障碍的学习者。

c) 客户支持：GPT-4o 可以根据特定的业务需求进行定制，使人工智能聊天机器人能够全天候处理银行查询、交易详情和账户管理，从而减少人工干预的需要。它支持能够有效响应的高级虚拟助手，包括视觉数据。凭借实时情感分析和多语言功能，GPT-4o 增强了全球影响力和客户满意度。

d) 金融：GPT-4o 可以分析财务数据并预测市场趋势，使机构能够管理风险并做出明智的投资决策。

e) 内容生成：GPT-4o 可用于创造性和分析目的，即制作海报、从文本输入创建视觉表示、设计角色以及以不同的风格生成输出。它还可以设计徽标、创建人物或物体的艺术作品、以不同的字体打印文本以及生成 3D 图像。

f) 代码审查：GPT-4o 还可以有效地审查代码。它可以在分析代码时识别适当的注释和评论。此外，如果提供一张显示代码的桌面图片，GPT-4o 可以检测代码中的问题。

1.8 小结

GPT-4o 代表了人工智能领域的重大进步，在多模态能力、上下文窗口大小、标记效率和处理速度方面比其前代产品有了实质性的改进。通过集成改进的 RLHF 等先进技术并利用 Nvidia 的 GPU 等强大的硬件，GPT-4o 在理解和生成文本、音频、视频和图像方面取得了卓越的表现。其应用涵盖教育、医学、客户支持、金融和内容生成等各个领域，展示了其多功能性和使人类生活的众多方面现代化和数字化的潜力。然而，尽管取得了这些进步，GPT-4o 仍然面临着诸多挑战，例如确保合乎道德的人工智能使用、保护用户数据以及克服系统中断等技术问题。解决这些挑战对于最大限度地发挥模型的优势和保持用户信任至关重要。

参考文献

[1] T. Wu, S. He, J. Liu, S. Sun, K. Liu, Q.-L. Han, and Y. Tang, “A brief overview of chatgpt: The history, status quo and potential future development,” IEEE/CAA Journal of Automatica Sinica, vol. 10, no. 5, pp. 1122–1136, 2023.
[2] R. Islam and O. M. Moushi, “Gpt-4o: The cutting-edge advancement in multimodal llm,” Authorea Preprints, 2024.
[3] OpenAI, “Hello gpt-4o, https://openai.com/index/hello-gpt-4o/.”