使用 NovelAI Diffusion Vibe Transfer
使用 NovelAI Diffusion Vibe Transfer
(@kuroito_tsumugi) 创作插图（JP）
通过使用振动传输技术，@kuroito_tsumugi 展示了从自己绘制的图像中创造新形象的过程。别忘了关注！感谢黑糸つむぎ在 Medium 博客上提供的原创文章。https://note.com/kuroito_tsumugi/n/n6eb6ecb0e2e6
NovelAIに新規実装された「Vibe Transfer（振动传输）」功能使用的试作插图报告。工作环境是 iPad Air。
插图制作
本次制作的插图
1.插图生成（NAI）
本次制作中使用的图像如下。
左：自制图 右：AI 插图
由于“能否吸收自己的绘画元素”是背后的实验主题，我准备了自己绘制的数字插图。
将左侧的自制图像设置为 NovelAI（以下简称 NAI）的 Vibe Transfer 后，可以生成以下图像。
角色外观反映了 Vibe Transfer 的参考图像特征。上色比自制图像更接近 AI 上色（参考强度数值为 0.4 至 0.57。由于默认值 0.6 较低，上色可能更接近 AI）。
VibTransfer 还支持提示输入，因此，我们尝试了在图像中发出侧身体或添加图案背景等指令。似乎可以在生成内容时微调，同时吸收参考图像的元素。
但是，VibTransfer 不擅长生成与参考图像大相径庭的图像，例如从半身照生成全身照的情况。为了生成全身照，需要进行一些技巧性的操作（例如：在提示中输入{{{full body}}}并将 VibTransfer 的参考强度设为小于 0.5）。
因此，这次我们尝试了将 VibTransfer 与 i2i 结合使用。我们将自制图像用作 VibTransfer 的参考图像，将 AI 插图（膝上角色和带背景）用于 i2i，生成的结果如下。
角色头部：振动传输的参考图像
身体和背景：i2i 原始图像
的特征展现得很好。
使用 VibTransfer 与 i2i 结合，可以通过 VibTransfer 参考图像的特征（外观和纹理等）覆盖 i2i 原始插图的用法。
由于 VibTransfer 的自制图像有点平坦，因此将生成的插图设置为 VibTransfer 的参考图像→再次生成。
通过 VibTransfer 的叠加，整体图像变得更加融洽，变得更加丰富。然而，自制图像的元素已经大大减弱，虽然角色容貌得以保留，但原有的涂抹和淡雅几乎感觉不到。
如果想保留原始绘画的氛围，可能最好避免使用振动传输的叠加，而是将振动传输的提取信息和参考强度设定为较高的数值。
尽管最终自己的绘画元素有所淡化，但因为个人喜欢刊登图片的插图，所以决定直接采用。使用 NAI 的修复功能修正脚部等部分→然后通过手工润色来完成。
2.添加修饰和润色（ibisPaint X）
我在 ibisPaint X 应用程序中进行润色处理。
左：润色前 右：润色后
由于润色处理的内容较多，因此仅摘录需要注意的内容或想记录的内容。
◆面部修正
为了让放大后观看更加愉快的面部，我们正在进行手动修正
由于觉得原始图像中面部印象较淡，因此尝试重点润色面部周围，并微调整整个角色以使其更加突出。
头发和皮肤通过乘法和叠加等方式添加了红色。眼睛的颜色接近自制图像的印象，同时添加了与其他部分不同的颜色，如黄色和粉色，使其更加突出。
◆手部修正
将裙子+右手+左手分层进行修正
※为了更清晰地了解手部修正范围和图层结构
一只手的不透明度设为 50%
在部件重叠的区域，从涂改前图像中剪切选取部件→复制图层进行修正。考虑到每个部件的阴影和修正时的干扰，通常不会在一张图层上工作，而是将部件分开分层管理。
◆其他修正
・为角色轮廓添加白线
・调整背景亮度（与屏幕比较（明）图层）
・裙子・腿・背景微调整（特殊笔＞扭曲笔、透视变形等）
由于这次想尽量保留生成的 AI 插图的氛围，所以在自画像上只做了修正和润色，避免过分突出的瑕疵修正。
另外，我尝试在角色周围加入白线，以确保角色与背景不会融为一体。AI 插图如果没有明确强调轮廓，很少会出现用白线围绕角色的表现。
如果您在 AI 插图中也感受到了一些奇怪的手绘风格，那么我很高兴能够达到预期。
感想・额外制作插图
由于“Vibe Transfer（振动传输）”功能，我认为现在更容易接近以前无法实现的表现和生成方法。
自分にとって恩恵がありそうと感じたのは以下です。
◆効率面
・零件合成以创建角色
・难以再现的复杂造型角色生成
・同容貌或类似的角色量产
这份试作报告应该符合第一种情况。角色的头部是通过振动传输，其他部分则是根据提示指示或 i2i 插图制作的。
个人认为第二种情况也有很大的优点，通过振动传输更容易生成在提示或 i2i 中难以再现的角色，这一点非常令人感激。
左：使用 NAI V1 制作的插图
右：通过振动传输生成左侧图像 NAI V3
由于一些基于 NAI V1 到 V2 的 t2i 生成的插图在 NAI V3 的 t2i 下生成困难，因此通过振动传输可以替代生成，这对我们非常有帮助。
此外，当尝试以提示为基础有意合成不同物质（例如：服装、翅膀、头发液化等）时，输入提示往往变得复杂且冗长，生成效率较低。使用振动传感器进行特征提取，使生成从参考图像变得更容易，同时大幅减少了提示输入量，因此在绘画指导和质量改进方面有更多资源可供利用。
◆表现方面
- 包含自制图像元素的插图生成
・通过组合不同图案材料和类型的图像来生成新的图像风格
个人认为，第一个点是更容易接触到将个人图像融入插图制作，我感受到了潜力。
左：t2i（NAI V1）
右：t2i + 自制图像振动传输（NAI V3）
这是在尝试用 AI 再现自己原创角色时的插图。左边是去年生成的 t2i 插图，右边是参考自己绘制的数字画生成的插图，通过 Vibe Transfer。熟悉 AI 插图的人可能会觉得右边的风格相当独特。
利用 Vibe Transfer 创建的 AI 插图中，我看到了自己在绘制这个角色时心生喜爱的闪闪发光的金发质感。基于提示的生成很难偏离流行的高质量插图或逼真表现，以及固定生成，因此像这次能让我更接近自己想要表达的东西和目标画面的技术的出现让我感到高兴。
我认为 Vibe Transfer 功能让表现的可能性大大扩展。我希望继续研究能够创作出怎样的插图。