Нейросеть примеряет одежду на фото: как это работает

Нейросеть для примерки одежды (VTON) берёт ваше фото и фото вещи, а затем генерирует новое изображение — вы в этой одежде. Это не наложение картинки поверх, а полноценная генерация с учётом позы, фигуры и складок ткани. Результат — за 15 секунд.

Что такое виртуальная примерка на нейросети

VTON (Virtual Try-On Network) — это тип нейросети, обученной на миллионах фотографий людей в одежде. Она умеет «понимать», как ткань ложится на тело: где образуются складки, как меняется силуэт, куда падает тень.

На вход подаётся два изображения: фото человека и фото одежды на белом фоне или на модели. На выходе — новое фото, где этот человек одет в эту вещь. Нейросеть не вырезает и не вклеивает — она рисует изображение заново, сохраняя лицо, руки, позу и фон оригинала. Технические подробности архитектуры VTON — в статье нейросеть для примерки одежды.

Чем это отличается от фотошопа и AR

Фотошоп — это ручная работа дизайнера. Вырезать одежду, подогнать по фигуре, наложить тени. На одну фотографию уходит 15-30 минут.

AR-примерка (как у IKEA или Gucci) накладывает 3D-модель поверх видео с камеры в реальном времени. Для этого нужна 3D-модель каждой вещи — её создание стоит от $50 за единицу. Масштабировать на тысячи товаров дорого.

VTON-нейросеть не требует 3D-моделей. Ей достаточно обычной фотографии одежды — той самой, что уже есть в карточке товара на маркетплейсе. Время обработки — 10-20 секунд, без участия человека.

• Фотошоп: ручная работа, 15-30 минут, идеальный результат, не масштабируется
• AR: 3D-модель + камера, реальное время, дорого в производстве
• VTON (нейросеть): два фото на вход, 15 секунд, масштабируется на любое количество вещей

Как работает VTON внутри

Если упрощённо, нейросеть делает три вещи:

1. Анализирует позу человека — находит ключевые точки тела (плечи, локти, колени, бёдра). Это нужно, чтобы понять, как одежда ляжет.
2. Деформирует одежду — «натягивает» плоское фото вещи на трёхмерную форму тела. Ткань изгибается в нужных местах, появляются складки.
3. Генерирует финальное изображение — совмещает деформированную одежду с телом, дорисовывает тени, стыки, видимые руки и добавляет естественные детали.

Современные модели (FASHN, IDM-VTON, OOTDiffusion) используют диффузионные архитектуры — ту же технологию, что лежит в основе Midjourney и Stable Diffusion. Только вместо генерации картинки из текста они генерируют человека в одежде из двух фото. Историю развития технологии — от AR до нейросетей — мы описали в статье виртуальная примерка одежды.

Где попробовать примерку нейросетью

Для обычного пользователя техническая начинка не важна. Важно — где это можно использовать без возни с кодом и без регистрации на GitHub. Обзор доступных сервисов — в статье виртуальная примерка онлайн бесплатно.

KakRaz — Telegram-бот, который делает виртуальную примерку за 15 секунд. Отправляете своё фото и фото вещи (например, скриншот из Wildberries), получаете результат. Первая примерка бесплатная.

Качество результата зависит от входных фото. Советы для лучшего результата:

• Фото в полный рост, анфас, руки вдоль тела — нейросети проще работать с такой позой
• Однотонный или простой фон — меньше артефактов
• Фото одежды на белом фоне или на модели в простой позе — чем чище фото, тем лучше результат
• Хорошее освещение на обоих фото — тени при плохом свете сбивают нейросеть

Ограничения технологии

VTON-нейросети не идеальны. Текущие ограничения:

• Руки и пальцы — если рука пересекает одежду, нейросеть может исказить пальцы или «съесть» кисть
• Сложные принты — мелкий текст, логотипы и паттерны иногда размываются
• Нижнее бельё и аксессуары — большинство моделей обучены на верхней одежде, платьях, брюках
• Несколько слоёв — надеть куртку поверх рубашки в одном запросе пока не получится

Технология развивается быстро. Два года назад результат выглядел как коллаж, сейчас — как студийное фото. Через пару лет ограничения выше, скорее всего, исчезнут. Обзор приложений для примерки одежды поможет выбрать подходящий сервис уже сейчас.

Частые вопросы