Datawhale X 魔搭 2024年AI夏令营第四期AIGC方向 Task02

从零入门AI生图原理&实践是 Datawhale 2024 年 AI 夏令营第四期的学习活动(AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习——

  • 适合想 入门并实践 AIGC文生图、工作流搭建、LoRA微调 的学习者参与

学习内容提要:从通过代码实现AI文生图逐渐进阶,教程偏重图像工作流、微调、图像优化等思路,最后会简单介绍AIGC应用方向、数字人技术(选学)


Datawhale学习手册置顶=>从零入门AI生图原理&实践

1. 赛题任务概述

参赛链接:可图Kolors-LoRA风格故事挑战赛
赛事目标:

  1. 参赛者需在可图Kolors 模型的基础上训练LoRA 模型,生成无限风格,如水墨画风格、水彩风格、赛博朋克风格、日漫风格......
  2. 基于LoRA 模型生成 8 张图片组成连贯故事,故事内容可自定义;基于8图故事,评估LoRA风格的美感度及连贯性 样例:偶像少女养成日记

赛事流程:

  • 初赛:报名后-2024年8月31日23:59
  • 决赛:2024年9月5日答辩展示,线上决出一二三等奖(评委主观评分)

2. task02-精读代码,实战进阶

2.1 通过通义千问的辅助生产文生图话剧

你是一个文生图专家,我们现在要做一个实战项目,就是要编排一个文生图话剧
话剧由8张场景图片生成,你需要输出每张图片的生图提示词

具体的场景图片
1、男主正在穿衣服
2、骑上马准备去狩猎
3、在马上疾驰
4、看到一只兔子
5、弯弓搭箭
6、箭射中兔子
7、下马查看兔子情况
8、男主笑着,抓住兔子耳朵提起兔子

生图提示词要求
1、风格为古风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子:
古风,水墨画,一个黑色长发男子,骑在马上,策马崩腾,背着弓

通义千问的结果

2.2 不断的调整prompt,结果展示

3.Scepter与Web UI一站式生成编辑工具箱(待更新)

Scepter是与视觉生成模型相关的数据处理、模型训练、模型推理、模型分享的工具箱;是一个持续进化的开源工具。

posted @ 2024-08-14 22:42  kiroyi  阅读(8)  评论(0编辑  收藏  举报