大模型技术方向：基于星火大模型的群聊对话分角色要素提取挑战赛笔记 #AI夏令营 #Datawhale #夏令营

tag: #AI夏令营 #Datawhale #夏令营
基于星火大模型的群聊对话分角色要素提取挑战赛
举办方：科大讯飞股份有限公司
一、赛事背景
在当今数字化时代，企业积累了丰富的对话数据，这些数据不仅是客户与企业之间交流的记录，更是隐藏着宝贵信息的宝库。在这个背景下，群聊对话分角色要素提取成为了企业营销和服务的一项重要策略。

群聊对话分角色要素提取的理念是基于企业对话数据的深度分析和挖掘。通过对群聊对话数据进行分析，企业可以更好地理解客户的需求、兴趣和行为模式，从而精准地把握客户的需求和心理，提供更加个性化和优质的服务。这不仅有助于企业更好地满足客户的需求，提升客户满意度，还可以为企业带来更多的商业价值和竞争优势。

群聊对话分角色要素提取的研究，将企业对话数据转化为可用的信息和智能的洞察，为企业营销和服务提供了新的思路和方法。通过挖掘对话数据中隐藏的客户行为特征和趋势，企业可以更加精准地进行客户定位、推广营销和产品服务，实现营销效果的最大化和客户价值的最大化。这将为企业带来更广阔的发展空间和更持续的竞争优势。

二、赛事任务
从给定的<客服>与<客户>的群聊对话中, 提取出指定的字段信息，待提取的全部字段见下数据说明。

三、评审规则
1.平台说明
参赛选手需基于讯飞星火大模型V3.5完成任务。允许使用大模型微调的方式进行信息抽取, 但微调的基座模型仅限星火大模型。

关于星火V3.5资源，组委会将为报名参赛选手统一发放API资源福利，选手用个人参赛账号登录讯飞开放平台：https://www.xfyun.cn/ ，前往控制台中查看使用。关于微调训练资源，选手用参赛账户登陆大模型训练平台（ https://training.xfyun.cn/overview ），可领取本次比赛的训练资源福利。

2.数据说明
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下:

序号 字段名称 是否单值 是否可为空 难度分数 答案是否唯一 备注
1 基本信息-姓名 是 是 1 是
2 基本信息-手机号码 是 是 1 是
3 基本信息-邮箱 是 是 1 是
4 基本信息-地区 是 是 1 是
5 基本信息-详细地址 是 是 1 是
6 基本信息-性别 是 是 1 是
7 基本信息-年龄 是 是 1 是
8 基本信息-生日 是 是 1 是
9 咨询类型 否 是 2 是
10 意向产品 否 是 3 是
11 购买异议点 否 是 3 是
12 客户预算-预算是否充足 是 是 2 是
13 客户预算-总体预算金额 是 是 2 是
14 客户预算-预算明细 是 是 3 否
15 竞品信息 是 是 2 是
16 客户是否有意向 是 是 1 是
17 客户是否有卡点 是 是 1 是
18 客户购买阶段 是 是 2 是
19 下一步跟进计划-参与人 否 是 2 是
20 下一步跟进计划-时间点 是 是 2 是
21 下一步跟进计划-具体事项 是 是 3 否
备注:

1）可为空的字段，当判定无相应信息、无法做出判断等情况，统一取值为空字符串

2）对于非单值字段，请使用list来表示

3.评估指标
测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:

1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分

2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”

每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。

4.评测及排行
1）本赛题均提供下载数据，选手在本地进行算法调试，在比赛页面提交结果。

2）排行按照得分从高到低排序，排行榜将选择团队的历史最优成绩进行排名。

四、作品提交要求
1、文件格式：按照 json格式提交

2、文件大小：无要求

3、提交次数限制：每支队伍每天最多3次

4、文件详细说明：编码为UTF-8，具体格式参考提交示例

5、关于大模型的使用说明&限制。

• 如果使用大模型进行信息抽取, 本次仅限使用星火大模型。

• 为了排除人工校验、修正等作弊方式，本次比赛除了提交答案之外，排行榜前3名选手需要提供完整的源代码进行审核，要求抽取的结果必须可以准确复现。

• 注：排行榜前3名有审核不通过现象时，依次按得分顺延。满分36分，原则上最终入围决赛三甲得分不得低于20分。

• 允许使用大模型微调的方式进行信息抽取, 微调的基座模型仅限星火大模型。

五、赛程规则
本赛题实行一轮赛制

【赛程周期】
6月9日-7月30日

1、6月9日10：00发布训练集、开发集、测试集（即开启比赛榜单）

2、比赛作品提交截止日期为7月30日17：00，公布名次日期为8月16日10：00

【现场答辩】
1、最终前三名团队将受邀参加科大讯飞AI开发者大赛总决赛并于现场进行答辩

2、答辩以（10mins陈述+5mins问答）的形式进行

3、根据作品成绩和答辩成绩综合评分（作品成绩占比70％，现场答辩分数占比30％）

ing:
本文在重新排版并增添新的内容，会尽快整理上去。