HYLOVEYOURSELF

小洋宝的进步史

导航

Datawhale 2025冬令营“嬛嬛,我来啦!”😘

Datawhale2025冬令营

Datawhale 2025 AI冬令营链接:https://www.datawhale.cn/activity/110/21/76?rankingPage=1

赠送大家一个表情出处:🎁 Emoji cheat sheet for GitHub, Basecamp, Slack & more

整理者:博客园-岁月月宝贝

家人们,至今博客园是本人分享学习知识的唯一平台,如果有其他平台存在他人与我同名,直接盗用我发过的博客内容并且不注明出处的,请直接代我举报!!!
如果未来我会转到其他平台,也会在这里说明哪些账号是我的!!!


背景:现有的通用模型在一些专业化或个性化的任务上,往往并不够 专业、精准 ,比如: 角色扮演模拟特定人物的语气与行为 ,对于需要特定语言风格、情感表达和人物设定的任务,标准大模型往往难以做到精准模仿。🥺

在这种情况下, 定制专属大模型 的技术被广泛关注,我们期待通过投喂特定语料,改造大模型,让模型在某些专业领域或特定任务中表现得更为出色。

因此,这次的任务,基于《甄嬛传》剧本中的甄嬛台词** ,打造一个模仿甄嬛语气、风格的专属聊天模型—— Chat-嬛嬛 。💮

如果你想要更多的了解 Chat-嬛嬛 的技术细节,可以关注 Chat-嬛嬛 的 Github仓库: https://github.com/KMnO4-zx/huanhuan-chat

接下来,让我们通过五个简单的步骤,不写一行代码,直接领略定制大模型的乐趣,轻松拥有专属的、个性化的AI嬛嬛!

Step1:注册讯飞星辰Maas 🏞

链接:https://training.xfyun.cn/?ch=maas-dw-mxb

讯飞星辰Maas平台 是一个模型微调的零代码平台,旨在简化模型微调过程,无需一行代码即可定制大模型!

讯飞星辰Maas平台 提供了直观的界面和高效的工具,支持快速训练和优化现有模型。

Step2:下载嬛嬛数据集⌛

下载下方的文件即可~

huanhuan.json 291.93KB

数据来源:https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json

数据集介绍:

微调的数据集是定制大模型的关键

真正复杂的工作都是在 清洗数据、处理、生成数据、归类数据 上,这些才是影响最后效果的最大难点问题。

——散步,Tianji作者

我们常见的微调数据集需要符合Alpaca格式,以我们使用的嬛嬛数据集为例,其样本如下:

在实际的交互中:

  • 用户:提供指令和输入,期望得到输出。
  • 模型:接收指令和输入,生成输出。

例如,如果用户想要查询天气:

  • 指令可能是:“告诉我明天的天气。”
  • 输入可能是用户的地理位置,或者在某些情况下,如果模型已经知道用户的位置,输入可能不需要。
  • 输出是模型根据指令和输入生成的,比如:“明天的天气预计是晴天,最高温度25度。”

在这个过程中,用户负责提供指令和可能的输入,而模型负责生成输出。

{
    "instruction": "小姐,别的秀女都在求中选,唯有咱们小姐想被撂牌子,菩萨一定记得真真儿的——",
    "input": "",
    "output": "嘘——都说许愿说破是不灵的。"
}

字段说明

  • instruction:任务的指令,模型需要完成的具体操作,一般可以对应到用户输入Prompt
  • input:任务所需的输入内容。若任务是开放式的,或者不需要明确输入,可以为空字符串
  • output:在给定指令和输入的情况下,模型需要生成的期望输出,也就是对应的正确结果或参考答案。

特点与应用 :结构简单清晰,易于理解和处理。它明确地任务指令输入内容分离开来,能够很好地适用于各种自然语言处理任务,像文本生成、翻译、总结等任务,尤其适合单轮的、以任务为导向指令微调任务.

此外,还有 ShareGPT 格式,此处暂时不讲。

此处,大家只需要简单了解即可,我们后续还会有更多原理学习内容。

如果想深入学习的话还可以参考self-llm的微调教程(这个真的写得很好!🔖)或Chat-嬛嬛的Blog (这里的Blog同github链接)。

image-20241209141917283

Step3:定制专属嬛嬛大模型!🌟

💡目前 讯飞星辰Maas平台 可免费定制大模型!大家按照下面的步骤执行即可!

1.点击【创建模型】

image-20241209104741940

2.配置基础信息, 注意不要选错模型!!!!

img

3.点击【创建数据集】

img

4.配置数据集信息

img

5.导入我们的嬛嬛数据集!

img

6.提交任务!

img

last:看到这张图,就妥了!

img

Step4: 创建应用(点击可跳转)🪄

链接:https://console.xfyun.cn/app/myapp

PS:已经创建过的不必重复创建,直接点选即可~

0.先找到位置:

image-20241209111655215

  1. 点击【创建新应用】

img

  1. 按需填写内容即可

img

结果:

image-20241209112004171

Step5:体验AI嬛嬛!🐣

💡大家稍微去看两个视频,或者稍微思考思考微调的定义,大概10分钟,就能得到我们的嬛嬛模型!

然后让我们发布服务,开始体验吧~

  1. 看到这个✅就说明任务已完成!AI嬛嬛已ready!

    img

我们可以查看具体细节:

任务信息

image-20241209112357049 image-20241209112422737

任务模型文件

image-20241209112517805

过程指标

image-20241209112540511

2.然后,发布服务!

image-20241209112752677

  1. 点击【体验】
img
  1. 选择之前的模型

image-20241209112917318

  1. 然后就可以开始对比了!
image-20241209113002216

我与嬛嬛的对话信息🔮

下面是我的界面:

Temperature=0.5 ;Top_k=4

image-20241209113745666

对话一:

image-20241209114415678

对话二:

image-20241209114447860

作业:尝试更多类型的模型定制!🌈

作业1:定制你的内容创作模型,网文小说家!📓

image-20241209114821600

一些训练细节展示(其他配置同上):

image-20241209124149172

image-20241209134036357

微调结果展示

Temperature=0.5 ;Top_k=4

image-20241209125403661

我们的网文小说家响应时间更短,生成文本更丰富~

Temperature=0.8 ;Top_k=5

image-20241209130018388

作业2:定制你的行业知识模型,法律专家!🪙

image-20241209130409834

一些训练细节展示(其他配置同上):

image-20241209133939616

image-20241209134012565

微调结果展示

Temperature=0.5 ;Top_k=4

我们的模型回答法律依据更强!

image-20241209135801178

再补充一个!

image-20241209140615533

就到这里啦!谢谢Datawhale冬令营给我卓越的体验!

posted on 2024-12-09 14:54  岁月月宝贝  阅读(38)  评论(0编辑  收藏  举报