Автор одной из самых популярных моделей Stable Diffusion 1.5 — ReV Animated — предлагает использовать вместе с ней один из трёх VАЕ на выбор или использовать версию нейросети с уже встроенным фильтром. Это хороший повод разобраться, что такое ВАЕ, насколько большое влияние он оказывает на картинку и на живом примере понять, какой вариант стоит качать и почему.
В данном статье мы разбираем ВАЕ под стиль аниме и картун, если вы генерите фотореализм — на эту тему мы поговорим отдельно.
Что это такое
VAE (Variational Autoencoder) — «Цветокоррекция». Файл-помощник, отвечающий за цвета.
Если вы сгенерировали картинку, а она выглядит бледной, как будто в тумане — значит, нужен VAE. Это как надеть очки с правильными линзами. Хорошая новость в том, что современные модели (как Pony V6) VAE уже обычно встроен внутрь Checkpoint’а, поэтому качать его отдельно приходится редко.
Если лень искать именно тот ВАЕ, что написал автор, для аниме-моделей в СД 1.5 почти всегда идеально подходит универсальный VAE. Называется: kl-f8-anime2. Он есть на Civitai. Скачайте его, положите в models/VAE и выберите в настройках. Он спасет 99% аниме-моделей от «серости».
Если вы сгенерировали картинку и цвета сочные — значит, VAE вам не нужен (или он подхватился автоматически).
Можно ли подключать новый VАЕ к модели, в которой уже есть встроенный
Да, вы можете поменять ВАЕ в любой момент.В WebUI работает строгая иерархия:
- Если в настройках (окошко VAE) у вас стоит
Automatic, программа посмотрит внутрь модели. Если там есть встроенный VAE — она использует его. - Если вы вручную выберете в этом окошке любой другой скачанный файл VAE, программа принудительно отключит встроенный и наложит ваш.
Так что когда качаете модель+ВАЕ вы ничем не рискуете. Встроенный — это просто «заглушка по умолчанию», а не приговор.
Если автор модели указал несколько вариантов ВАЕ, стоит протестировать их все. Это чистая вкусовщина, но разница будет весьма заметна.
Тесты
Автор ReV Animated указал три варианта:
- orangemix.vae.pt. Это VAE от создателей легендарной аниме-модели AbyssOrangeMix. Дает очень сочные, яркие и насыщенные цвета. Отлично подчеркивает контраст между светом и тенью. Идеально для 2.5D артов, чтобы они выглядели «дорого» и объемно.
- kl-f8-anime2.ckpt. Старейший и самый известный VAE, специально натренированный для аниме-стилистики (часто использовался с моделью Waifu Diffusion). Делает картинку чистой, светлой, убирает «грязь» из теней. Цвета получаются более классическими анимешными (чуть менее агрессивными, чем у Orangemix). Делает цвета «плоскими» (в хорошем смысле, как в классическом 2D-аниме), яркими и убирает лишние тени.
- Blessed2.vae.pt. Славится тем, что очень деликатно работает с освещением и тонами кожи. Картинка получается мягкой, теплой и без пересветов.
Они дают немного разную цветокоррекцию («настроение») картинки, хотя все три отлично справляются с главной задачей — убирают блеклую серую пелену. Вот чего от них ожидать в плане стиля.
Выводы
Оценки цветокоррекции субъективны по определению, но если хотите знать мое скромное мнение относительно оптимального VАЕ конкретно к модели Stable Diffusion 1.5 — ReV Animated, тоя бы остановился на Blessed2.
Он выдает более контрастную и четкую картинку, идеально подходящую к темному фентези или киберпанку. К счастью, этот самый ВАЕ встроен в версию модели V2+VAE и можно качать ее и не заморачиваться.
kl-f8-anime2 ВАЕ — довольно яркий и подойдет, если вы планируете генерить более позитивные и светлые изображения в аниме и мульт стиле.
orangemix — даёт «фирменную» приглушенность цветов и сепию, под старое аниме 2000-ых, которая может кому-то зайти.
