首页 >行业动态 > > 正文

【玩转SD】再也不用写提示词了 SDXL最新技术Revision 用图片代替提示词

发布日期:2023-08-24 01:29:32 来源:哔哩哔哩 分享

Hello大家好,我是探索Latent Space的程序员小志Jason。

今天来分享一下SDXL的最新技术Revision。

简单来说,Revision就是把图片转变成模型能理解的概念,


(资料图)

比如:

这张图,我们肉眼能读出来的信息有米老鼠,手套,白色背景,红色裤子等等,

如果用反推提示词也可以得到类似的提示词,

但是revision不一样的是,它可以把人类或者反推软件忽略的元素也一并转换成模型可以理解的概念,比如3D渲染等

信息的转译会导致信息流失,比如之前一直用的反推软件,往往不能完整概括图片里面所有的元素,而revision由于是图片直接转成embedding,跳过了图->字->embedding中间文字的转译,所以可以携带更多的信息。

简单介绍过后,先来说一下使用前的准备工作,

更新comfyui,更新已经安装的custom_nodes,如果还没有,请安装comfyui manager,可以帮助你安装缺失的custom_nodes

下载revision相关文件:

官方地址:

/stabilityai/control-lora/tree/main/revision

我的国内备份,里面包含我加的一个负面图工作流

夸克网盘:/s/a3b5fe126cc2

把下载好的clip_vision_

放到 ComfyUI\models\clip_vision 里面

Revision和之前controlnet的reference only很大的不同是,

revision甚至可以读取到图片里面的字,把字转化成模型能理解的概念,

如下图:

输入了一张写有cute dog的图片,经过clip vision encode->weight image转化成condition,居然能输出文字里面的概念,画出了小狗,效果还是相当惊艳的

除了读取一张图片以为,还可以读取多张图片,然后把condition连接起来,同时生效。

这里我们分别放入一张米老鼠的图片和之前的小狗文字图,经过概念混合后,我们得到了4张同时具有两张图概念的图片,其中左下角的那张特别明显,分别具有米老鼠和小狗的特征

经过上面两个例子,应该都能明白revision图片转condition的大概流程,那么我们是不是可以把一些我们不想要的图,放到负面里面,达到类似于textual invertion的效果呢?当然可以

下面这张是没有应用负面revision的图

这张是应用了负面revision的图

我们可以看到,我们把不一样的米老鼠作为负面revision输入到neg condiction里面,能有效的把米老鼠这一个特征从原图里面去掉。

同时也可以诞生出,把不好的图放到负面revision里面,来避开不想要的概念,比如跑真人图的时候放动漫图,等等各种层出不穷的应用。

欢迎各位分享转发,

这是我的群,我会在群里分享各种我留意到的技术

如果有什么技术方面的问题,我也会尽能力回答

欢迎进来交流,谢谢各位的观看,有缘再见。

标签:

Copyright ©  2015-2022 大西洋兽药网版权所有  备案号:沪ICP备2020036824号-2   联系邮箱: 562 66 29@qq.com