摘要:
一:环境搭建 (一)云服务器:使用的AutoDL算力云 https://www.autodl.com/market/list 选择合适的计费方式(按量/小时),已经对应配置即可 (二)Stable Diffusion环境搭建 1.扩容 后续会安装大量的模型,系统免费的数据盘大小不够,最好进行扩容处理 阅读全文
摘要:
潜在扩散模型 (LDM) 输入图像x进入模型。x由编码器 Ɛ 编码,在“潜在空间”(一个维度小得多的空间)内创建一个维度较小的向量 z 。 这个潜在空间向量z连续 T 步被添加高斯噪声——这就是“扩散”过程。这个向量z在被添加噪声 T 次后被称为 z_T 。 在生成图像时,我们经常会添加一些说明来指 阅读全文
摘要:
一:ControlNet模型的概念 ControlNet 是一个控制预训练图像扩散模型(例如 Stable Diffusion)的神经网络。它允许输入调节图像,然后使用该调节图像来操控图像生成。 原始SD模型的输入:prompt、source image ControlNet模型的输入:canny边 阅读全文
摘要:
一:LLM大语言模型 (一)阶段划分 LLM大语言模型训练一般有两个阶段 Step 1.预训练阶段 大模型首先在大量的无标签数据上进行训练,预训练的最终目的是让模型学习到语言的统计规律和一般知识。在这个过程中模型能够学习到词语的语义、句子的语法结构、以及文本的一般知识和上下文信息。 需要注意的是,预 阅读全文
摘要:
一:GPT-1 预测未来 在自然语言中,大量的未标记文本语料库非常丰富,但是有标签的数据训练的效果比较好,如果想要在没有标签的数据集上训练出好的模型比较难。因此作者提出了一个想法,在无标签的数据上训练一个预训练模型,然后在这些有标签的子任务上训练一个微调模型。(当时之前是CV领域的主流做法)与以前的 阅读全文
摘要:
一:注意力机制 (一)前提背景 1.人类的选择性视觉注意力 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像,获得需要重点关注的目标区域,也就是一般所说的注意力焦点,而后对这一区域投入更多注意力资源,以获取更多所需要关注目标的细节信息,而抑制其他无用信息,人类视觉注意力 阅读全文
摘要:
一:机器学习和深度学习对比 (一)传统机器学习 什么是传统机器学习?传统机器学习是指一系列能够从数据中学习规律,并根据这些规律进行预测和决策的算法。 它通常包括以下几种类型的算法: 线性回归和逻辑回归:用于解决回归和分类问题 可以认为:逻辑回归是在线性回归基础上加上sigmod方法,进行0/1分类 阅读全文
摘要:
一:Transformer Transformer是来自 NLP 领域的非常著名的模型方法。Transformer在语言建模和构建对话式 AI 工具方面取得了巨大成功。 在视觉应用中,Transformer 表现出了泛化和自适应的优势,这使得它们非常适合通用学习。 它们比其他技术能够更好地捕捉文本甚 阅读全文
摘要:
一:马尔可夫链 (一)什么是马尔可夫链 又称离散时间马尔可夫链,那就是某一时刻状态转移的概率只依赖于它的前一个状态。 举个简单的例子,假如每天的天气是一个状态的话,那个今天是不是晴天只依赖于昨天的天气,而和前天的天气没有任何关系。 马尔科夫链在很多时间序列模型中得到广泛的应用,比如循环神经网络RNN 阅读全文
摘要:
一:GAN生成对抗网络(Generative Adversarial Networks) 在Stable Diffusion诞生之前,计算机视觉和机器学习方面最重要的突破是 GAN(Generative Adversarial Networks 生成对抗网络)。GAN让超越训练数据已有内容成为可能, 阅读全文