多模态GPT-V出世!36种场景分析ChatGPT Vision能力,LMM将全面替代语言大模型?
LMM将会全面替代语言大模型?AI新里程碑GPT4V美国预先公测,医疗领域/OCR实践+166页GPTV试用报告首发解读
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-11-41H6P0RkbuF16lABB16.png)
ChatGPT Vision,亦被广泛称为GPT-V或GPT-4V,代表了人工智能技术的新里程碑。作为LMM (Large Multimodal Model) 的代表,它不仅继承了LLM (Large Language Model) 的文本处理能力,还加入了图像处理的功能,实现了文本与图像的多模态交互。与传统的LLM相比,GPT-V更加强大和灵活,能够更深入地理解和生成与图像相关的内容。这种进化打开了无数新的应用可能性,从图像描述、创意设计到复杂的图文结合任务,GPT-4V都展现出了卓越的性能和广泛的潜力。
使用方法:GPT-V目前对于美国区ChatGPT Plus账户开放。11/6日gpt-4-vision-preview提供API开放。
相关链接:ChatGPT can now see, hear, and speak
相关介绍:GPTV_System_Card.pdf
166页GPT-V试用报告:Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
性能:对于ChatGPT4,速度比纯文本中文Prompt慢40%左右。(注意,当从GPT4切换到GPT-V后,纯文本中文Prompt速度提升了大概200%)
花费:$20美元一月,限速3小时25条。11/06日gpt-4-vision-preview提供API开放。定价视图片尺寸而定,1080x1080图像输入定价 0.00765美元。
调研版本:10-12 ChatGPT Vision(图片聊天/GPT多模态功能) ChatGPT September 25 Version
本文图片部分为实践(OCR/医学等),部分来自网络(推特/Arxiv试用报告),题图由ChatGPT DALL-E 3生成。
本文尝试从以下案例,对AI新里程碑LMM进行探索:
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-11-11wrX0yABBdPKpkZz.png)
TLDR总结:
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-03CTxIHlPmvmJxvJe.png)
(图1:Few-shot方法不能提高GPT-4V获取仪表板信息的准确性,红色代表回答错误)
![图片](https://image.jiqizhixin.com/uploads/editor/7e40cd27-96e6-4075-8280-f70fae614022/640.png)
(图2:CoT方法不能稳定质变提高GPT-4V数苹果的准确性,红色代表回答错误,绿色代表正确)
适用场景:
不适用场景:
有潜力的场景:
1.0 基础功能
多图片上下文识别能力
![图片](https://image.jiqizhixin.com/uploads/editor/a836b07c-fab8-43c7-beea-f705e98f1c3b/640.png)
(图3:研究者输入了多张购物账单小票/菜单图片,GPT-4V做出了正确回答)
理解图中标识(如箭头)和强调(如红圈标红)
![图片](https://image.jiqizhixin.com/uploads/editor/39c68fa7-f301-4c2f-880c-b9c40cf4db15/640.png)
(图4:对于使用箭头/画圈标识的图片,GPT-4V能做出了正确理解和回答)
1.1 OCR功能(幻觉严重,中文效果差)
中文:电脑截图(准确)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-14-25GhAZKQ16cP7ExU2u.png)
中文:清晰中文表格图片(幻觉严重)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-040eSkaCNH6nNNcun.png)
中文:有复杂信息的真实患者诊疗单(幻觉严重)
患者诊疗单(给GPT的是原图,以下图片经过二次处理模糊了患者信息)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-18hFEKjldcVyKisxR.png)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04c9TrMDqA10cGnkQ0.png)
英文:准确:强对比度、轻微镜头畸变、中等像素噪声图片
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04PaNHyIV10wlDdB46.png)
阿拉伯语:部分准确:手写体转译英文
muin on X: "GPT-4V will be able to transcribe and translate manuscripts and texts. I am excited to try out Arabic manuscripts to see how well it does. It does a phenomenal job with transcription even better than most humans. https://t.co/K6y6WffLvz" / X
1.2 医学诊断(高准确率)
肺部X光:肺炎判断(准确)
图像来源:GitHub - linhandev/dataset: 医学影像数据集列表 『An Index for Medical Imaging Datasets』https://github.com/linhandev/dataset https://www.kaggle.com/datasets/nih-chest-xrays/data#:~:text=Class%20descriptions,Hernia
图片输入
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-03Bvphp59ylgvYyj16n.png)
GPT-V判别结果:(肺炎, 0.7)
1.肺炎:
◦置信度: 0.7
◦原因: X光片上下肺区的密度增加可能提示肺炎的存在,但根据图片无法明确确定。
2.肺水肿:
◦置信度: 0.6
◦原因: 下肺区的密度增加可能与液体积聚有关,如心力衰竭导致的肺水肿。
3.间质性肺病:
◦置信度: 0.5
◦原因: 有一些间质改变的迹象,但需要与先前的影像进行比较。
4.支气管炎:
◦置信度: 0.4
◦原因: 慢性支气管炎可能导致一些观察到的不透明度。
5.结核病:
◦置信度: 0.3
◦原因: 尽管结核病可表现为不透明和可能的固实化,但该图像并不强烈地表现出结核病的典型特征。
6.肺癌:
◦置信度: 0.2
◦原因: 虽然没有明确的结节或肿块,但由于X光在显示其他结构后面的小结节时的局限性,肺癌不能完全排除。
皮肤病:黑色素瘤判断(部分准确)
数据源:ISIC Archive
https://gallery.isic-archive.com/#!/topWithHeader/onlyHeaderTop/gallery?filter=%5B%5D
图片输入
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-041016gLoevFG0tfxn.png)
GPT-V判别结果(常见痣 0.6,黑色素瘤 0.3)
老年疣(0.7)
数据源:ISIC Archive
图片输入
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-049uaQ4Zml10bHgMSW.png)
GPT-V判别结果(老年疣 0.7)
该图像显示了皮肤的放大视图,老年疣在头部和颈部区域较为常见,且经常出现在中老年人群中,因此我给予了较高的置信度。
其他脑部/胸部X光诊断(高准确率)
(绿色代表正确,红色代表错误,黄色代表幻觉)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-53vk753IF6WSPN766F.png)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-54954vMOouJTPVL6bH.png)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-55CGHiFq9LWYUF16160.png)
1.3 高纬度识别能力(高质量,虽有幻觉问题)
大众点评/小红书文案
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-24Nx9YiNcyt10S7OOh.png)
商品使用建议(左),商品销售文案(右)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04zh7EP0jwbBJQBve.png)
车祸车辆识别
红色代表错误
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-58Fs101058MGgJZpKevi.png)
理解流程图
![图片](https://image.jiqizhixin.com/uploads/editor/c5d5423c-31bd-403a-ad7a-db16a2f532f9/640.png)
解释笑话
![图片](https://image.jiqizhixin.com/uploads/editor/2b2de634-35bf-4103-8b65-f5773def36ce/640.png)
商品新颖命名
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04NQ10OqMhZ6ZKrlUN.png)
电路图描述
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04kWEKlp9f7byrzmA.png)
地标描述
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04CU0ibcYcC8bN10qy.png)
菜谱生成
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04m10i8MBZDPXEOxNX.png)
分析球类运动局势/运动员姿势(存在幻觉)
Abran Maldonado on X: "One of my favorite demos I tested out, in honor of football season, ChatGPT Vision will forever change coaching and sports analytics. Whether i build it or not, ChatGPT for coaching will be on every sideline in the league. Mark my words. https://t.co/uUYhsKpEGh" / X
幻觉(该运动员使用的是反手Backhand,而非正手forehand):
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04mvDFFQIdMrmI9fu.png)
识别电影/相机/景点等
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04Rt10n16gWbYLytM109.png)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-03wMz10DJ6PDrhjGr9.png)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04NrVvmsyyz0drGFx.png)
给予用户产品安装/摄像等的建议和帮助
X: "ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm https://t.co/paG0hMshXb" / X
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-033O59YgBrC10oKWQ9J.png)
辅导扑克(存在幻觉)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04l7mSM0HIRM0Z10XG.png)
网页截图到HTML代码(理解不足)
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-03ZExiqaSQSPAII7E.png)
结果:
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04MyMHnXYzvfA64zx.png)
白板骨架到前端项目
Mckay Wrigley on X: "You can give ChatGPT a picture of your team’s whiteboarding session and have it write the code for you. This is absolutely insane. https://t.co/bGWT5bU8MK" / X
https://twitter.com/mckaywrigley/status/1707101465922453701
清晰图片的复杂理性/感性分析
Pietro Schirano on X: "This is absolutely wild. I am completely speechless. https://t.co/wGTAx1hFgS" / X
https://twitter.com/skirano/status/1706874309124194707?
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-10-16-10-04otVnYSosZae4hFv.png)