华为云受邀出席AICon2024 分享AI Agent在企业生产中的技术实践

近日， InfoQ在北京举办行业技术盛会——AICon全球人工智能开发与应用大会2024，华为云aPaaS首席架构师陈星亮受邀出席，和技术爱好者分享AI Agent在企业生产中的技术实践。

大模型技术发展浪潮下，AI Agent成为新一代AI原生应用范式。当前，在问答、交互类应用中，大模型+AI Agent已经给用户带来新一代体验。但当AI Agent进入企业生产场景时，会面临新的挑战，如：企业生产场景的专业复杂问题、AI生成结果难以达到生产场景的可用标准以及主题偏离、恶意诱导等安全防护问题。华为云aPaaS首席架构师陈星亮从上述痛点和挑战出发，分享华为云在实际场景的技术实践，解决企业引入AI生成技术的瓶颈，使得AI Agent在企业生产场景得以成功运用。

华为云aPaaS首席架构师陈星亮在AICon现场分享

AI Agent进入企业生产场景时的挑战

AI Agent引领了新一波人工智能技术浪潮，进入企业生产场景时主要面临四类挑战：

专业性：特定领域的专业复杂问题需要专业知识，Agent理解难度大，生产场景要求输出准确率大于90%，并且要专业、简洁、高效；
协作性：大模型、传统模型、现有API协同调度难，在业务流程中难闭环；
责任性：企业生产和客户服务场景对输出严肃性要求高，要保证内容的正确、及时、完整、可解释；
安全性：专业知识是企业核心资产，既要共享，又要防泄露，大模型框架内集成的模块或本身可能含漏洞，成为安全威胁。

华为云在AI Agent的探索与实践

针对专业性、协作性、责任性、安全性四大挑战，华为云进行了五大技术探索：

一、企业词表

1）多轮理解和主动澄清，将指令理解准确率提升到90%以上；

2）优化知识地图，分门别类建设企业词表；

3）建设大模型数据准入标准，完善数据治理标准并持续清洗

二、模型编排

大模型善于理解生成，小模型精于感知执行，将模型编排能力和原有IT系统、原有传统模型结合起来，解决复杂问题

三、外挂知识库

让动态知识快速更新和循环，紧跟企业知识更新节奏，确保实时交互体验

四、防退化

纳入数据飞轮能力，基于知识的敏感度提高循环频率，加快知识库更新迭代，不断赋予AI Agent持续自学习能力，保持数据最新

五、防安全风险

企业对模型自身的安全很难去做提升，可以从数据、大模型交互、Agent应用自身这三个角度提升安全能力：

数据安全：在训练过程中，对敏感数据自动化识别和归类，评估清洗程度和可暴露程度，平衡可用性和隐私保护；在推理过程中，识别输入的敏感数据，过滤和替换后，无感知还原输出内容
模型交互安全：在企业内部建好模型网关，把内外部模型统一接入起来，并在此基础上搭建三层安全隔离带，第一层针对模型返回的内容建立安全评分滤网，通过通检或抽检方式及时发现模型自身的安全问题；第二层建立企业信息安全滤网，检查所有的调用，看是否包含敏感信息；第三层建立企业领域滤网，各领域的敏感词和控制力度不一，各领域基于这套机制自行控制，更好地将关键信息隔离在内部
Agent框架应用安全：在跟模型交互过程中，要把Agent规划的动作和原有的安全技术检查结合起来；在任务执行过程中，针对代码执行的环境，要加上对应的安全技术；应用框架自身和三方组件中可能存在漏洞、服务越权问题，要多加关注，及时防护。

AI原生应用引擎产品体验入口