摘要：在现代数字世界中，图形用户界面（GUI）是人机交互的核心。然而，尽管大型语言模型（LLM）如ChatGPT在处理文本任务上表现出色，但在理解和操作GUI方面仍面临挑战，因此最近一年来，在学界和大模型社区中，越来越多的研究者和开发者们开始关注VLM-based GUI Agent。2023年12月，智谱发布了CogAgent，第一个基于视觉语言模型（Visual Language Model, VLM）的开源 GUI agent 模型，而在最近，最新的CogAgent模型 CogAgent-9B-20241220发布，让LLM操作GUI在技术上更进了一步。 阅读全文