Прогнозирование спроса

Прогнозирование спроса (Demand Forecasting) — одна из базовых задач в ML, которая находит применение в самых разных сферах бизнеса и не только. Часто она выступает не как самостоятельная задача, а как важный этап более сложных процессов, таких как динамическое ценообразование, оптимизация логистики или планирование производства.

Где применяется?

❯ Ритейл и e-com — оптимизация товарных запасов, предотвращение out-of-stock ситуаций, динамическое ценообразование

❯ Логистика и supply chain — оптимизация поставок, прогноз загруженности складов, предсказание сроков доставки

❯ Производство — планирование объемов выпуска, управление производственными мощностями и ресурсами

❯ Энергетика и ЖКХ — прогноз нагрузки на сети, планирование потребления ресурсов

❯ Финансовый сектор — оценка спроса на кредиты, валюту

❯ Туризм и HoReCa — загрузка отелей, динамическое ЦО на билеты и услуги

❯ Сельское хозяйство — прогноз урожайности, спроса на продукты

❯ Телеком — нагрузка на сети, трафик

#demand

Прогноз спроса: основная цель

В большинстве случаев основным типом данных в задачах прогнозирования спроса являются временные ряды (time series) — последовательности значений некоторой метрики (например, количество покупок, выручка, GMV, …), зафиксированные в разные моменты времени.

Основная цель моделирования спроса: проанализировать поведение временного ряда в прошлом и научиться с высокой точностью предсказывать его значения в будущем.

Например, у нас есть история продаж конкретного товара по дням. Тогда задача может звучать так:
❯ Предсказать, сколько единиц этого товара будет продано завтра, на следующей неделе или в течение следующего месяца.

#demand

Прогноз спроса: задачи

Самые распространенные задачи при прогнозе спроса:

❯ Точечное прогнозирование
Предсказание средних значений метрики на заданном горизонте (на k шагов вперёд). Это базовый тип прогноза для большинства задач

❯ Вероятностное прогнозирование
Предсказание условного распределения будущих значений метрики, когда средних значений недостаточно. Позволяет оценить доверительные интервалы, что бывает полезно при принятии решений (например, при дальнейшей оптимизации цен)

❯ Оценка сценариев
Анализ возможных исходов при различных значениях управляемых переменных (цены, скидки, маркетинг). Помогает определять оптимальные решения для достижения бизнес-целей

❯ Декомпозиция
Разложение показателей на тренд, сезонность и вклад отдельных факторов. Это важно, например, для ценообразования, когда требуется оценить влияние изменения цены одного продукта на спрос других (кросс-эффекты)

———————————————
В следующих постах расскажу про решение этих задач, метрики и другие аспекты

#demand

Что под капотом: ML

Хочу запустить новую рубрику — серию постов о реальных кейсах применения ML для решения самых разных задач

В кейсах разберем:
‣ Бизнес-задачу — какую проблему решаем и почему без ML не обойтись
‣ Варианты решения — от простых до продвинутых подходов
‣ Дизайн ML системы — архитектура, компоненты и их взаимодействие
‣ Модели и алгоритмы — что используют на практике и почему это работает
‣ Метрики — как понять, что решение действительно хорошее
‣ Полезные ресурсы — статьи, репозитории, инструменты

Кому это будет полезно?
‣ ML и DS специалистам — расширить кругозор, почерпнуть идеи, которые можно адаптировать под свои задачи, подготовиться к секциям по ML System Design
‣ Интересующимся AI — увидеть, где и как ML меняет нашу повседневность
‣ Мне самому — систематизировать знания и поделиться опытом


Посты буду помечать соответствующими тегами

Первый разбор уже готовится. Расскажу про одну из задач, которой сам недавно занимался

LLM Arena на русском прямо в telegram

Летние стажировки ⛱️

Коллеги попросили поделиться, поэтому рассказываю. Сейчас открыт набор на оплачиваемую летнюю стажировку Ozon Camp

❯ Направления: аналитика, финансы, продакт и проджект-менеджмент, маркетинг и другие
❯ Формат: гибрид/офис в Москва-Сити, от 30 часов в неделю
❯ Когда: старт в июле, продолжительность — 6 месяцев
❯ Дедлайн подачи заявки: 27 апреля

Стажировку можно совмещать с учёбой и оформить как практику.

Подать заявку можно [тут]


В анкете в поле «Волшебное слово» укажите: aiaboutai — это поможет понять, что вы пришли с этого канала.

Midjourney v7

Сегодня Midjourney представили модель нового поколения.

Главное нововведение — Draft Mode: режим почти моментальной генерации изображений. Теперь можно проговаривать свой запрос голосом и в реальном времени корректировать результат. Это делает взаимодействие с моделью более естественным и интерактивным.


Попробовать новую модель можно уже сейчас:
midjourney.com

Материалы по Community Detection + Matching

Подготовил пост в @ozon_tech, где кратко рассказал про то, как кластеризация на графах может улучшить качество матчинга.

В этом посте собрал материалы, которые помогут детальнее разобраться в вопросе:

❯ Моя статья на Habr. В ней первое упоминание идеи связки CD + matching, подробнее про CD, примеры различных алгоритмов CD с визуализацией и кодом

❯ Выступление на AI Conf 2024 (YouTube). Подробнее про реализацию в prod, как вписать CD в Map-Reduce парадигму и про подводные камни

❯ Презентация с выступления на AI Conf (pdf)


А также не про Matching, но про CD:

❯ Лекция А. Дьяконова «Выделение сообществ» (YouTube). Подробно про CD + обзор множества подходов к решению задачи

❯ Лекция из курса Network Science Albert-László Barabási. Подробно про кластеризация на графах, метрики и многое другое

Мы пересмотрели классический дизайн системы матчинга и теперь можем находить не пары, а группы одинаковых товаров.

Привет, это Иван Антипов, ML-инженер и автор канала AI about AI. В этих карточках я рассказал про кластеризацию на графах. Это один из этапов поиска групп одинаковых товаров, который позволяет находить кластеры товаров-дубликатов с достаточно большой полнотой (completeness). При этом кластеризация не множит ошибки из-за False Positive предсказаний, а сохраняет однородность (homogeneity) кластеров.

Подробнее о подходе смотрите в карточках 😤

#ozontech_experts #ml

DeepSite — бесплатный аналог Cursor с DeepSeek V3 под капотом

На Hugging Face 🤗 появился интересный инструмент — DeepSite. Это браузерный аналог Cursor на минималках, работающий на модели DeepSeek V3.

Решил проверить возможности и закинул в DeepSite промпт для генерации игры "Змейка" в HTML, в которой алгоритм самостоятельно учится играть, используя Reinforcement Learning. Результат хороший — код генерируется быстро и работает из коробки.

Обучить свою 🐍 и посмотреть, как ИИ осваивает игру, можно по [этой ссылке].

Speech Representation for ML Engineers

Наглядный гайд по ключевым методам представления аудио в данные для ml моделей:

От raw-волны до Mel-спектрограмм
🔹Дискретизация, громкость и LUFS (почему в YouTube роликах звук одинаково комфортной громкости)
🔹STFT, FFT и как избежать spectral leakage
🔹Зачем нужна Mel-шкала и как она связана с человеческим слухом

Фичи для работы с речью
🔹Фонемы и выравнивание временных меток (Montreal Forced Aligner)
🔹Как извлекать F0 (pitch) и что такое форманты

Инструменты
🔹librosa, pyloudnorm, parselmouth — код на Python для каждого этапа

Хорошая отправная точка для тех, кто хочет глубже погрузиться в обработку речи

LLM as Research Assistant

Хотел бы поделиться собственным примером того, как llm ускоряют исследования в области квантовой физики.

Заметный скачок в качестве ответов llm для задач математики и физики упоминался еще с релизом o1. На практике протестировать возможности llm смог сейчас, тк занимаюсь разработкой физической модели, описывающей нарушении симметрии в молекулах (если интересно, то уже опубликованные результаты есть в JPC и JCP).

Контекст: был чат с DeepSeek, в котором задавал вопросы по коду, точнее по способам повысить точность решения ODE в Wolfram Mathematica.

После попробовал закинуть промпт: Расскажи про оператор диффузии

В ответ llm:
1. Кратко и без ошибок рассказала про уравнение диффузии
2. Из контекста выше поняла, что для решения использую Wolfram. Привела пример кода для решения ODE
3. Также из контекста поняла, что нужна высокая точность численного решения. Написала код для повышения точности
4. Привела пример аналитического решения задачи в общем виде

После попросил уточнить решение для конкретного случая с нормальным распределением

llm:
5. Без ошибок записала решение в виде формулы
6. Написала вывода этого решения, чтобы можно было удостовериться, что всё корректно + рассмотрела предельный случай
7. Переписала код под него
8. Дала интерпретацию получившемся результатам

Можно ли это было сделать посчитав руками и погуглив? Да
Заняло бы это в 5-10 раз больше времени? Да!

👇