#Petprojects #Computer_vision #13дней
Где-то месяц назад я был на
Union Meetup, где познакомился с
Володей. В моменте я не успел с ним плотно познакомится, а самое интересное я начал узнавать из его тг-канала. Помимо того, что он ведет очень крутой образ жизни, так и у него есть афигенный бот
Емеля. Он по фотографии может определять калорийность продуктов, что очень помогает в подсчете КБЖУ и 100% будет полезна тем, кто следит за питанием.
Так вот о чем я... Если уже есть реализация калорийности, почему нам не пойти чуть дальше и по фото находить артикулы вещей по WB. У этого проекта точно есть бизнес-значимость, да и клиентскую базу мы быстро найдем(от простых обывателей до стилистов, дизайнеров и перекупов). Ну что ж, давайте писать MLSD💗
1⃣ Формулировка проблемы
ML-задача: гибридная система
🧍 Обнаружение одежды на любом фото — YOLOv8
📦 Поиск похожих вещей из базы WB — через эмбеддинги
🖼 Дополнительно: сравнение самих изображений (image similarity metrics)
Итоговая метрика — комбинируем сходство в фичах и визуальную близость
Ввод: любое фото с человеком
Вывод: топ-N максимально похожих вещей из Wildberries
2⃣ МетрикиmAP (YOLOv8)
Top-K Accuracy (поиск по базе)
Perceptual similarity (LPIPS / SSIM)
Скорость отклика
blended score (эмбеддинг + визуал)
3⃣ Архитектура системы
Пайплайн такой:
Пользователь отправляет фото
Бот → backend
Backend:
YOLOv8 находит вещи
Из каждой — кроп
Кропы → эмбеддинги (CLIP / ConvNeXt)
Быстрый top-N поиск по базе (FAISS)
Для кандидатов — сравнение картинок через LPIPS / SSIM
Итог: top-3 самых похожих вещей
Модули:
detector.py: YOLOv8 инференс
embedder.py: CLIP / ConvNeXt
index.py: FAISS
similarity.py: визуальное сравнение (LPIPS, SSIM)
re_ranker.py: пересчёт итоговой метрики
wb_parser.py: загрузка каталога WB
bot.py, server.py: интерфейс и API
4⃣ Сбор и подготовка данных
YOLOv8: размечаем датасет одежды с разных фото (street / соцсети / fashion lookbooks)
WB база:
Скачиваем карточки
Фотки товаров → эмбеддинги
Храним оригиналы для сравнения
Фокус: обогащать базу и следить за качеством карточек
5⃣ Feature Engineering
Resize + нормализация кропов
CLIP эмбеддинг → быстрая фильтрация
LPIPS / SSIM между оригинальным кропом и картинками-кандидатами
Комбинированная метрика:
score = α * similarity_in_features + β * image_similarity
6⃣ Обучение и оценка
YOLOv8: дообучаем под задачи детекции одежды
CLIP / ConvNeXt: pretrained
Ручная проверка выдачи: насколько "похоже" выглядит подбор
7⃣ Telegram API
Пользователь просто шлёт фото — и получает:
🧍список вещей на фото
🔗 артикулы + кнопки WB
🔄 “Похожие”, “Подобрать капсулу”, “Запомнить”
8⃣ Деплой и обновление
FastAPI + Docker
Хостинг: Railway или VPS
Регулярное обновление базы артикулов
Мониторинг качества: фидбэк от юзеров
❤️ - Сделать MLSD по LLM