Некоторые ключевые инсайты из
подкаста с Кевином Вейлом, CPO (Chief product officer) OpenAI:
➡️Невероятная скорость развития AI: «AI-модели, которые вы используете сегодня — это худшие модели, которые вы когда-либо будете использовать в своей жизни». Каждые два месяца модели обретают новые способности, что требует совершенно иного подхода к работе. Это означает, что если ваш продукт находится на грани возможностей текущих моделей, вам следует продолжать его развивать, так как в скором времени модели станут значительно лучше.
➡️Важность оценки (evals) для продакт-менеджеров:
«Написание evals становится ключевым навыком для продактов». Evals — это тесты, которые позволяют оценить, насколько хорошо модель справляется с определенным набором задач. Понимание того, насколько хорошо модель справляется с задачами (например, на 60%, 95% или 99,5%), критически важно для определения того, какой продукт следует разрабатывать.
➡️Подход OpenAI к разработке продуктов: OpenAI делает ставку на «model maximalism», то есть на максимальное использование возможностей самих моделей, не тратя много времени на дополнительную «обвязку», так как ожидается появление еще более совершенных версий. Философия «iterative deployment» предполагает выпуск продуктов на рынок на ранних стадиях и частые итерации на основе обратной связи.
↪️Компания придерживается подхода bottom-up инициативы и автономности команд.
➡️Возможности для стартапов: OpenAI фокусируется на создании отличного API, который используют миллионы разработчиков. Существует огромное количество нишевых применений AI в различных отраслях и вертикалях, которые OpenAI не сможет охватить самостоятельно. Стартапам следует сосредоточиться на узкоспециализированных проблемах и вариантах использования, где они могут эффективно применять существующие модели.
➡️Ключевые навыки продактов, которых нанимает OpenAI: агентность (high agency), толерантность к неопределенности и умение влиять. Также vibe coding для быстрой разработки прототипов. Ожидается, что в будущем в продуктовых командах появятся специалисты по тонкой настройке моделей (quasi researcher machine learning engineer types).
↪️ Использование AI в работе продуктовых команд: Сотрудники OpenAI активно используют ChatGPT для саммаризации документов, написания спецификаций продуктов и написании evals. Однако потенциал использования AI в повседневной работе еще не реализован в полной мере, и нужно более активно использовать vibe coding.
➡️Советы по промптингу LLM: для эффективного использования LLM не обязательно быть экспертом в промптинге. Техника «poor man's fine-tuning», которая заключается во включении примеров желаемого результата в промпт может значительно улучшить ответ модели. Также полезным может быть указание модели быть кем-то (например, Эйнштейном или лучшим маркетологом) для получения более качественных ответов.