大模型与LLM语言分析

大模型与LLM语言分析

如何利用LLM做多模态任务？

大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。

本文整理了近两年来基于LLM做vision-lanuage任务的一些工作，并将其划分为4个类别：
冻住LLM，训练视觉编码器等额外结构以适配LLM，例如mPLUG-Owl，LLaVA，Mini-GPT4，Frozen，BLIP2，Flamingo，PaLM-E^[1]
将视觉转化为文本，作为LLM的输入，例如PICA(2022)，PromptCap(2022)^[2]，ScienceQA(2022)^[3]
利用视觉模态影响LLM的解码，例如ZeroCap^[4]，MAGIC
利用LLM作为理解中枢调用多模态模型，例如VisualChatGPT(2023), MM-REACT(2023)
接下来每个类别会挑选代表性的工作进行简单介绍：

训练视觉编码器等额外结构以适配LLM

这部分工作是目前关注度最高的工作，因为它具有潜力来以远低于多模态通用模型训练的代价将LLM拓展为多模态模型。

随着GPT4的火热，近期涌现了大量的工作，如LLaVA, Mini-GPT4和mPLUG-Owl。这三个工作的主要区别如下图所示，总体而言，模型结构和训练策略方面大同小异，主要体现在LLaVA和MiniGPT4都冻住基础视觉编码器，mPLUG-Owl将其放开，得到了更好的视觉文本跨模态理解效果；在实验方面mPLUG-Owl首次构建并开源视觉相关的指令理解测试集OwlEval，通过人工评测对比了已有的模型，包括BLIP2、LLaVA、MiniGPT4以及系统类工作MM-REACT。mPLUG-Owl vs MiniGPT4 vs LLaVA

 mPLUG-Owl

mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality

mPLUG-Owl是阿里巴巴达摩院mPLUG系列的最新工作，继续延续mPLUG系列的模块化训练思想，将LLM迁移为一个多模态大模型。此外，Owl第一次针对视觉相关的指令评测提出一个全面的测试集OwlEval，通过人工评测对比了已有工作，包括LLaVA和MIniGPT4。该评测集以及人工打分的结果都进行了开源，助力后续多模态开放式回答的公平对比。

模型结构：采用CLIP ViT-L/14作为"视觉基础模块"，采用LLaMA初始化的结构作为文本解码器，采用类似Flamingo的Perceiver Resampler结构对视觉特征进行重组（名为"视觉摘要模块"），如图。

 mPLUG-Owl模型结构

模型训练

第一阶段: 主要目的也是先学习视觉和语言模态间的对齐。不同于前两个工作，Owl提出冻住视觉基础模块会限制模型关联视觉知识和文本知识的能力。因此Owl在第一阶段只冻住LLM的参数，采用LAION-400M，COYO-700M，CC以及MSCOCO训练视觉基础模块和视觉摘要模块。

 第二阶段: 延续mPLUG和mPLUG-2中不同模态混合训练对彼此有收益的发现，Owl在第二阶段的指令微调训练中也同时采用了纯文本的指令数据（102k from Alpaca+90k from Vicuna+50k from Baize）和多模态的指令数据(150k from LLaVA)。作者通过详细的消融实验验证了引入纯文本指令微调在指令理解等方面带来的收益。第二阶段中视觉基础模块、视觉摘要模块和原始LLM的参数都被冻住，参考LoRA，只在LLM引入少量参数的adapter结构用于指令微调。

 

实验分析

除了训练策略，mPLUG-Owl另一个重要的贡献在于通过构建OwlEval评测集，对比了目前将LLM用于多模态指令回答的SOTA模型的效果。和NLP领域一样，在指令理解场景中，模型的回答由于开放性很难进行评估。

SOTA对比：本文初次尝试构建了一个基于50张图片（21张来自MiniGPT-4, 13张来自MM-REACT, 9张来自BLIP-2, 3来自GPT-4以及4张自收集）的82个视觉相关的指令回答评测集OwlEval。由于目前并没有合适的自动化指标，本文参考Self-Intruct对模型的回复进行人工评测，打分规则为：A="正确且令人满意"；B="有一些不完美，但可以接受"；C="理解了指令但是回复存在明显错误"；D="完全不相关或不正确的回复"。实验证明Owl在视觉相关的指令回复任务上优于已有的OpenFlamingo、BLIP2、LLaVA、MiniGPT4以及集成了Microsoft 多个API的MM-REACT。作者对这些人工评测的打分同样进行了开源以方便其他研究人员检验人工评测的客观性。
多维度能力对比：多模态指令回复任务中牵扯到多种能力，例如指令理解、视觉理解、图片上文字理解以及推理等。为了细粒度地探究模型在不同能力上的水平，本文进一步定义了多模态场景中的6种主要的能力，并对OwlEval每个测试指令人工标注了相关的能力要求以及模型的回复中体现了哪些能力。在该部分实验，作者既进行了Owl的消融实验，验证了训练策略和多模态指令微调数据的有效性，也和上一个实验中表现最佳的baseline——MiniGPT4进行了对比，结果显示Owl在各个能力方面都优于MiniGPT4。

LLaVA

Visual instruction tuning

自然语言处理领域的instruction tuning可以帮助LLM理解多样化的指令并生成比较详细的回答。LLaVA首次尝试构建图文相关的instruction tuning数据集来将LLM拓展到多模态领域。具体来说，基于MSCOCO数据集，每张图有5个较简短的ground truth描述和object bbox（包括类别和位置）序列，将这些作为text-only GPT4的输入，通过prompt的形式让GPT4生成3种类型的文本：1）关于图像中对象的对话；2）针对图片的详细描述；3）和图片相关的复杂的推理过程。注意，这三种类型都是GPT4在不看到图片的情况下根据输入的文本生成的，为了让GPT4理解这些意图，作者额外人工标注了一些样例用于in-context learning。

模型结构：采用CLIP的ViT-L/14作为视觉编码器，采用LLaMA作为文本解码器，通过一个简单的线性映射层将视觉编码器的输出映射到文本解码器的词嵌入空间，如图。

 LLaVA模型结构

模型训练1/ 第一阶段：跨模态对齐预训练，从CC3M中通过限制caption中名词词组的最小频率过滤出595k图文数据，冻住视觉编码器和文本解码器，只训练线性映射层；2. 第二阶段：指令微调，一版针对多模态聊天机器人场景，采用自己构建的158k多模态指令数据集进行微调；另一版针对Science QA数据集进行微调。微调阶段，线性层和文本解码器（LLaMA）都会进行优化。

实验分析

消融实验: 在30个MSCOCO val的图片上，每张图片设计3个问题（对话、详细描述、推理），参考 Vicuna[8]，用GPT4对LLaVA和text-only GPT4的回复进行对比打分，报告相对text-only GPT4的相对值

SOTA对比: 在Science QA上微调的版本实现了该评测集上的SOTA效果。

Mini-GPT4

Minigpt-4: Enhancing vision-language under- standing with advanced large language models

Mini-GPT4和LLaVA类似，也发现了多模态指令数据对于模型在多模态开放式场景中表现的重要性。

模型结构：采用BLIP2的ViT和Q-Former作为视觉编码器，采用LLaMA经过自然语言指令微调后的版本Vicuna作为文本解码器，也通过一个线性映射层将视觉特征映射到文本表示空间，如图：

 MiniGPT4模型结构

模型训练

第一阶段：目标通过大量图文对数据学习视觉和语言的关系以及知识，采用CC+SBU+LAION数据集，冻住视觉编码器和文本解码器，只训练线性映射层；

 第二阶段：作者发现只有第一阶段的预训练并不能让模型生成流畅且丰富的符合用户需求的文本，为了缓解这个问题，本文也额外利用ChatGPT构建一个多模态微调数据集。具体来说，1）其首先用阶段1的模型对5k个CC的图片进行描述，如果长度小于80，通过prompt让模型继续描述，将多步生成的结果合并为一个描述；2）通过ChatGPT对于构建的长描述进行改写，移除重复等问题；3）人工验证以及优化描述质量。最后得到3.5k图文对，用于第二阶段的微调。第二阶段同样只训练线性映射层。

DeepMind于2021年发表的Frozen，2022年的Flamingo以及Saleforce 2023年的BLIP2也都是这条路线，如图所示。

 Frozen

Multimodal Few-Shot Learning with Frozen Language Models.

Frozen训练时将图片编码成2个vision token，作为LLM的前缀，目标为生成后续文本，采用Conceptual Caption作为训练语料。Frozen通过few-shot learning/in-context learning做下游VQA以及image classification的效果还没有很强，但是已经能观察到一些多模态in-context learning的能力。

Flamingo

Flamingo: a Visual Language Model for Few-Shot Learning

Flamingo为了解决视觉feature map大小可能不一致（尤其对于多帧的视频）的问题，用Perceiver Resampler （类似DETR的解码器）生成固定长度的特征序列（64个token），并且在LLM的每一层之前额外增加了一层对视觉特征进行注意力计算的cross-attention layer，以实现更强的视觉相关性生成。Flamingo的训练参数远高于Frozen，因此采用了大量的数据：1）MultiModal MassiveWeb(M3W) dataset：从43million的网页上收集的图文混合数据，转化为图文交叉排列的序列（根据网页上图片相对位置，决定在转化为序列后，token 在文本token系列中的位置）；2）ALIGN (alt-text & image Pairs): 1.8 million图文对；3）LTIP (LongText & Image Pairs)：312 million图文对；4）VTP (Video & Text Pairs) ：27 million视频文本对(平均一个视频22s，帧采样率为1FPS)。类似LLM，Flamingo的训练目标也为文本生成，但其对于不同的数据集赋予不同的权重，上面四部分权重分别为1.0、0.2、0.2、0.03，可见图文交叉排列的M3W数据集的训练重要性是最高的，作者也强调这类数据是具备多模态in-context learning能力的重要因素。Flamingo在多个任务上实现了很不错的zero-shot以及few-shot的表现。

BLIP2

BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

BLIP2采用了类似于Flamingo的视觉编码结构，但是采用了更复杂的训练策略。其包含两阶段训练，第一阶段主要想让视觉编码器学会提取最关键的视觉信息，训练任务包括image-Text Contrastive Learning, Image-grounded Text Generation以及Image-Text Matching；第二阶段则主要是将视觉编码结构的输出适配LLM，训练任务也是language modeling。BLIP2的训练数据包括MSCOCO，Visual Genome，CC15M，SBU，115M来自于LAION400M的图片以及BLIP在web images上生成的描述。BLIP2实现了很强的zero-shot capitoning以及VQA的能力，但是作者提到未观察到其in-context learning的能力，即输入样例并不能提升它的性能。作者分析是因为训练数据里不存在Flamingo使用的图文交错排布的数据。不过Frozen也是没有用这类数据，但是也观察到了一定的in-context learning能力。因此多模态的in-context learning能力可能和训练数据、训练任务以及位置编码方法等都存在相关性。

将视觉转化为文本，作为LLM的输入

PICA

An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA

以PICA为例，它的目标是充分利用LLM中的海量知识来做Knowledge-based QA。给定一张图和问题，以往的工作主要从外部来源，例如维基百科等来检索出相关的背景知识以辅助答案的生成。但PICA尝试将图片用文本的形式描述出来后，直接和问题拼在一起作为LLM的输入，让LLM通过in-context learning的方式直接生成回答，如图所示。

PICA

 In-context learning的效果比较依赖example/demonstration的质量，为此PICA的作者利用CLIP挑选了和当前测试样例在问题和图片上最接近的16个训练样例作为examples。

利用视觉模态影响LLM的解码

MAGIC

Language Models Can See: Plugging Visual Controls in Text Generation

以MAGIC为例，它的目标是让LLM做image captioning的任务，它的核心思路是生成每一个词时，提高视觉相关的词的生成概率，公式如图所示。

 MAGIC解码公式

该公式主要由三部分组成：

LLM预测词的概率

 退化惩罚（橙色）

 视觉相关性（红色）

 退化惩罚主要是希望生成的词能带来新的信息量。视觉相关性部分为基于CLIP计算了所有候选词和图片的相关性，取softmax之后的概率作为预测概率。

利用LLM作为理解中枢调用多模态模型

Visual ChatGPT

Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

以微软Visual ChatGPT为例，它的目标是使得一个系统既能和人进行视觉内容相关的对话，又能进行画图以及图片修改的工作。为此，Visual ChatGPT采用ChatGPT作为和用户交流的理解中枢，整合了多个视觉基础模型（Visual Foundation Models），通过prompt engineering （即Prompt Manager）告诉ChatGPT各个基础模型的用法以及输入输出格式，让ChatGPT决定为了满足用户的需求，应该如何调用这些模型，如图所示。

 微软另一个小组稍晚一段时间提出的MM-REACT^[5]也是同样的思路，区别主要在于prompt engineering的设计以及MM-REACT更侧重于视觉的通用理解和解释，包含了很多Microsoft Azure API，例如名人识别、票据识别以及Bing搜索等。

总结

对比几种融入方式：

“训练视觉编码器等额外结构以适配LLM”具有更高的研究价值，因为其具备将任意模态融入LLM，实现真正意义多模态模型的潜力，其难点在于如何实现较强的in-context learning的能力。

 “将视觉转化为文本，作为LLM的输入”和“利用视觉模态影响LLM的解码”可以直接利用LLM做一些多模态任务，但是可能上限较低，其表现依赖于外部多模态模型的能力。

 “利用LLM作为理解中枢调用多模态模型”可以方便快捷地基于LLM部署一个多模态理解和生成系统，难点主要在于prompt engineering的设计来调度不同的多模态模型。

 家谱树——大模型的前世今生

追寻大模型的“万恶之源”，大抵应该从那篇《Attention is All You Need》开始，基于这篇由谷歌机器翻译团队提出的由多组 Encoder、Decoder 构成的机器翻译模型 Transformer 开始，大模型的发展大致走上了两条路，一条路是舍弃 Decoder 部分，仅仅使用 Encoder 作为编码器的预训练模型，其最出名的代表就是 Bert 家族。这些模型开始尝试“无监督预训练”的方式来更好的利用相较其他数据而言更容易获得的大规模的自然语言数据，而“无监督”的方式就是 Masked Language Model（MLM），通过让 Mask 掉句子中的部分单词，让模型去学习使用上下文去预测被 Mask 掉的单词的能力。在 Bert 问世之初，在 NLP 领域也算是一颗炸弹，同时在许多自然语言处理的常见任务如情感分析、命名实体识别等中都刷到了 SOTA，Bert 家族的出色代表除了谷歌提出的 Bert 、ALBert之外，还有百度的 ERNIE、Meta 的 RoBERTa、微软的 DeBERTa等等。

 可惜的是，Bert 的进路没能突破 Scale Law，而这一点则由当下大模型的主力军，即大模型发展的另一条路，通过舍弃 Encoder 部分而基于 Decoder 部分的 GPT 家族真正做到了。GPT 家族的成功来源于一个研究人员惊异的发现：“扩大语言模型的规模可以显著提高零样本（zero-shot）与小样本（few-shot）学习的能力”，这一点与基于微调的 Bert 家族有很大的区别，也是当下大规模语言模型神奇能力的来源。GPT 家族基于给定前面单词序列预测下一个单词来进行训练，因此 GPT 最初仅仅是作为一个文本生成模型而出现的，而 GPT-3 的出现则是 GPT 家族命运的转折点，GPT-3 第一次向人们展示了大模型带来的超越文本生成本身的神奇能力，显示了这些自回归语言模型的优越性。而从 GPT-3 开始，当下的 ChatGPT、GPT-4、Bard 以及 PaLM、LLaMA 百花齐放百家争鸣，带来了当下的大模型盛世。

 从合并这家谱树的两支，可以看到早期的 Word2Vec、FastText，再到预训练模型的早期探索 ELMo、ULFMiT ，再到 Bert 横空出世红极一时，到 GPT 家族默默耕耘直到 GPT-3 惊艳登场，ChatGPT 一飞冲天，技术的迭代之外也可以看到 OpenAI 默默坚持自己的技术路径最终成为目前 LLMs 无可争议的领导者，看到 Google 对整个 Encoder-Decoder 模型架构做出的重大理论贡献，看到 Meta 对大模型开源事业的持续慷慨的参与，当然也看到从 GPT-3 之后 LLMs 逐渐趋向于“闭”源的趋势，未来很有可能大部分研究不得不变成 API-Based 的研究。

 数据——大模型的力量源泉

归根结底，大模型的神奇能力是来源于 GPT 么？我觉得答案是否定的，GPT 家族几乎每一次能力的跃迁，都在预训练数据的数量、质量、多样性等方面做出了重要的提升。大模型的训练数据包括书籍、文章、网站信息、代码信息等等，这些数据输入到大模型中的目的，实质在于全面准确的反应“人类”这个东西，通过告诉大模型单词、语法、句法和语义的信息，让模型获得识别上下文并生成连贯响应的能力，以捕捉人类的知识、语言、文化等等方面。

一般而言，面对许多 NLP 的任务，我们可以从数据标注信息的角度将其分类为零样本、少样本与多样本。无疑，零样本的任务 LLMs 是最合适的方法，几乎没有例外，大模型在零样本任务上遥遥领先于其他的模型。同时，少样本任务也十分适合大模型的应用，通过为大模型展示“问题-答案”对，可以增强大模型的表现性能，这种方式我们一般也称为上下文学习（In-Context Learning）。而多样本任务尽管大模型也可以去覆盖，但是微调可能仍然是最好的方法，当然在一些如隐私、计算等约束条件下，大模型可能仍然有用武之地。

 同时，微调的模型很有可能会面对训练数据与测试数据分布变化的问题，显著的，微调的模型在 OOD 数据上一般表现都非常差。而相应的，LLMs 由于并没有一个显式的拟合过程，因此表现要好许多，典型的 ChatGPT 基于人类反馈的强化学习（RLHF）在大部分分布外的分类与翻译任务中都表现优异，在专为 OOD 评估设计的医学诊断数据集 DDXPlus 上也表现出色。

实用指南——任务导向上手大模型

很多时候，“大模型很好！”这个断言后紧跟着的问题就是“大模型怎么用，什么时候用？”，面对一个具体任务时，我们是应该选择微调、还是不假思索的上手大模型？这篇论文总结出了一个实用的“决策流”，根据“是否需要模仿人类”，“是否要求推理能力”，“是否是多任务”等一系列问题帮我们判断是否要去使用大模型。

 而从 NLP 任务分类的角度而言：

传统自然语言理解

目前拥有大量丰富的已标注数据的很多 NLP 任务，微调模型可能仍然牢牢把控着优势，在大多数数据集中 LLMs 都逊色于微调模型，具体而言：

文本分类：在文本分类中，LLMs 普遍逊色于微调模型；

 情感分析：在 IMDB 与 SST 任务上大模型与微调模型表现相仿，而在如毒性监测任务中，几乎所有的大模型都差于微调模型；

 自然语言推理：在 RTE 与 SNLI 上，微调模型优于 LLMs，在 CB 等数据中，LLMs与微调模型相仿；

 问答：在 SQuADv2、QuAC 和许多其他数据集上，微调模型具有更好的性能，而在 CoQA 上，LLMs 表现与微调模型性能相仿；

 信息检索：LLMs 尚未在信息检索领域广泛应用，信息检索的任务特征使得没有自然的方式为大模型建模信息检索任务；

 命名实体识别：在命名实体识别中，大模型仍然大幅度逊色于微调模型，在 CoNLL03 上微调模型的性能几乎是大模型的两倍，但是命名实体识别作为一个经典的 NLP 中间任务，很有可能会被大模型取代。

 总之，对于大多数传统自然语言理解的任务，微调模型的效果更好。当然 LLMs 的潜力受限于 Prompt 工程可能仍未完全释放（其实微调模型也并未达到上限），同时，在一些小众的领域，如 Miscellaneous Text Classification，Adversarial NLI 等任务中 ，LLMs 由于更强的泛化能力因而具有更好的性能，但是在目前而言，对于有成熟标注的数据而言，微调模型可能仍然是对传统任务的最优解。

自然语言生成

相较于自然语言理解，自然语言生成可能就是大模型的舞台了。自然语言生成的目标主要是创建连贯、通顺、有意义的符合序列，通常可以分为两大类，一类是以机器翻译、段落信息摘要为代表的任务，一类是更加开放的自然写作，如撰写邮件，编写新闻，创作故事等的任务。具体而言：

文本摘要：对于文本摘要而言，如果使用传统的如 ROUGE 等的自动评估指标，LLMs 并没有表现出明显的优势，但是如果引入人工评估结果，LLMs 的表现则会大幅优于微调模型。这其实表明当前这些自动评估指标有时候并不能完整准确的反应文本生成的效果；

 机器翻译：对于机器翻译这样一个拥有成熟商业软件的任务而言，LLMs 的表现一般略逊于商业翻译工具，但在一些冷门语言的翻译中，LLMs 有时表现出了更好的效果，譬如在罗马尼亚语翻译英语的任务中，LLMs 在零样本和少样本的情况下击败了微调模型的 SOTA；

 开放式生成：在开放式生成方面，显示是大模型最擅长的工作，LLMs 生成的新闻文章几乎与人类编写的真实新闻无法区分，在代码生成、代码纠错等领域 LLMs 都表现了令人惊讶的性能。

 知识密集型任务

知识密集型任务一般指强烈依赖背景知识、领域特定专业知识或者一般世界知识的任务，知识密集型任务区别于简单的模式识别与句法分析，需要对我们的现实世界拥有“常识”并能正确的使用，具体而言：

闭卷问答：在 Closed-book Question-Answering 任务中，要求模型在没有外部信息的情况下回答事实性的问题，在许多数据集如 NaturalQuestions、WebQuestions、TriviaQA 上 LLMs 都表现了更好的性能，尤**其在 TriviaQA 中，零样本的 LLMs 都展现了优于微调模型的性别表现；

 大规模多任务语言理解：大规模多任务语言理解（MMLU）包含 57 个不同主题的多项选择题，也要求模型具备一般性的知识，在这一任务中最令人印象深刻的当属 GPT-4，在 MMLU 中获得了 86.5% 的正确率。

 值得注意的是，在知识密集型任务中，大模型并不是百试百灵，有些时候，大模型对现实世界的知识可能是无用甚至错误的，这样“不一致”的知识有时会使大模型的表现比随机猜测还差。如重定义数学任务（Redefine Math）中要求模型在原含义和从重新定义的含义中做出选择，这需要的能力与大规模语言模型的学习到的知识恰恰相反，因此，LLMs 的表现甚至不如随机猜测。

推理任务

LLMs 的扩展能力可以极大的增强预训练语言模型的能力，当模型规模指数增加时，一些关键的如推理的能力会逐渐随参数的扩展而被激活，LLMs 的算术推理与常识推理的能力肉眼可见的异常强大，在这类任务中：

算术推理：不夸张的说，GPT-4 的算术与推理判断的能力超过了以往的任何模型，在 GSM8k、SVAMP 和 AQuA 上大模型都具有突破性的能力，值得指出的是，通过思维链（CoT）的提示方式，可以显著的增强 LLMs 的计算能力；

 常识推理：常识推理要求大模型记忆事实信息并进行多步推理，在大多数数据集中，LLMs 都保持了对微调模型的优势地位，特别在 ARC-C （三-九年级科学考试困难题）中，GPT-4 的表现接近 100%（96.3%）。

 除了推理之外，随着模型规模的增长，模型还会浮现一些 Emergent Ability，譬如符合操作、逻辑推导、概念理解等等。但是还有类有趣的现象称为“U形现象”，指随着 LLMs 规模的增加，模型性能出现先增加后又开始下降的现象，典型的代表就是前文提到的重定义数学的问题，这类现象呼唤着对大模型原理更加深入与细致的研究。

大模型的挑战与未来

大模型必然是未来很长一段时间我们工作生活的一部分，而对于这样一个与我们生活高度同频互动的“大家伙”，除了性能、效率、成本等问题外，大规模语言模型的安全问题几乎是大模型所面对的所有挑战之中的重中之重，机器幻觉是大模型目前还没有极佳解决方案的主要问题，大模型输出的有偏差或有害的幻觉将会对使用者造成严重后果。同时，随着 LLMs 的“公信度”越来越高，用户可能会过度依赖 LLMs 并相信它们能够提供准确的信息，这点可以预见的趋势增加了大模型的安全风险。

除了误导性信息外，由于 LLMs 生成文本的高质量和低成本，LLMs 有可能被利用为进行仇恨、歧视、暴力、造谣等攻击的工具，LLMs 也有可能被攻击以未恶意攻击者提供非法信息或者窃取隐私，据报道，三星员工使用 ChatGPT 处理工作时意外泄漏了最新程序的源代码属性、与硬件有关的内部会议记录等绝密数据。

 除此之外，大模型是否能应用于敏感领域，如医疗保健、金融、法律等的关键在于大模型的“可信度”的问题，在当下，零样本的大模型鲁棒性往往会出现降低。同时，LLMs 已经被证明具有社会偏见或歧视，许多研究在口音、宗教、性别和种族等人口统计类别之间观察到了显着的性能差异。这会导致大模型的“公平”问题。

最后，如果脱开社会问题做个总结，也是展望一下大模型研究的未来，目前大模型主要面临的挑战可以被归类如下：

实践验证：当前针对大模型的评估数据集往往是更像“玩具”的学术数据集，但是这些学术数据集无法完全反应现实世界中形形色色的问题与挑战，因此亟需实际的数据集在多样化、复杂的现实问题上对模型进行评估，确保模型可以应对现实世界的挑战；
模型对齐：大模型的强大也引出了另一个问题，模型应该与人类的价值观选择进行对齐，确保模型行为符合预期，不会“强化”不良结果，作为一个高级的复杂系统，如果不认真处理这种道德问题，有可能会为人类酝酿一场灾难；
安全隐患：大模型的研究要进一步强调安全问题，消除安全隐患，需要具体的研究确保大模型的安全研发，需要更多的做好模型的可解释性、监督管理工作，安全问题应该是模型开发的重要组成部分，而非锦上添花可有可无的装饰；
模型未来：模型的性能还会随着模型规模的增加而增长吗？，这个问题估计 OpenAI 也难以回答，我们针对大模型的神奇现象的了解仍然十分有限，针对大模型原理性的见解仍然十分珍贵。

 

 

参考资料

https://mp.weixin.qq.com/s/ZQd8nukdjDahpHTo8Jin8A

https://mp.weixin.qq.com/s/0lbPQCUaWxCVokrSEx5UYQ

[1] PaLM-E: https://arxiv.org/abs/2303.03378
[2] PromptCap: https://arxiv.org/abs/2211.09699
[3] ScienceQA: https://arxiv.org/abs/2209.09513
[4] 例如ZeroCap: https://arxiv.org/abs/2111.14447
[5] MM-REACT: https://arxiv.org/abs/2303.11381