ControlNet的"reference only"功能是一种预处理器,它允许用户直接使用一张图片作为参考来引导扩散,生成与参考图风格和内容相似的图像。以下是使用"reference only"功能的步骤:
更新ControlNet插件:确保你的ControlNet插件是最新版本,因为"reference only"功能需要ControlNet版本在1.1.153以上。
上传参考图片:在ControlNet的界面中,上传你想要作为参考的图片,并勾选启用(Enable)选项。
选择预处理器:在预处理器(preprocessor)选项中选择"reference_only"。选择"reference_only"后,旁边的预处理模型选择框会消失,因为"reference only"不需要任何控制模型。
设置控制模式和风格保真度:控制模式(control mode)选择平衡(balanced),如果你是1.1.17版本以上的ControlNet,需要将风格保真度(Style Fidelity)调整为1,这个参数决定了参考图片的权重,最小0最大1,可以根据需要调整数值。
配置其他参数:设置迭代步数(Steps)、采样方法(Sampler)、重绘幅度(例如0.6)等其他参数。
输入提示词:在文生图现象卡下,输入正向提示词(P prompt),例如"a dog running on grassland, best quality",反词(N prompt)可以暂不填写。
生成图片:点击生成按钮,ControlNet会根据你提供的参考图片和提示词生成新的图片。
评估结果:生成的图片会与参考图片在风格和内容上保持一定的相似度,但也会有一定的随机性。可以通过多次生成筛选,或者多次迭代prompt,优化生成结果。
通过以上步骤,你可以使用ControlNet的"reference only"功能来生成与参考图相似的图片,无需Lora炼丹或复杂的数值调整,即可实现精准的风格和内容参考。
网友回复
为啥所有的照片分辨率提升工具都会修改照片上的图案细节?
js如何在浏览器中将webm视频的声音分离为单独音频?
微信小程序如何播放第三方域名url的mp4视频?
ai多模态大模型能实时识别视频中的手语为文字吗?
如何远程调试别人的chrome浏览器获取调试信息?
为啥js打开新网页window.open设置窗口宽高无效?
浏览器中js的navigator.mediaDevices.getDisplayMedia屏幕录像无法录制SpeechSynthesisUtterance产生的说话声音?
js中mediaRecorder如何录制window.speechSynthesis声音音频并下载?
python如何直接获取抖音短视频的音频文件url?
js在浏览器中如何使用MediaStream与MediaRecorder实现声音音频多轨道混流?