Я очень советую найти в себе силы и
прочесть или
посмотреть статью - предикшен на несколько лет вокруг ИИ от Daniel Kokotajlo, Scott Alexander.
Сначала про первую широко известную
работу Daniel Kokotajlo:
Человек в 2021 году написал примерно следующие вещи:
## 2022
- Большие мультимодальные трансформеры от OpenAI, Google, Facebook и DeepMind делают GPT-3 устаревшим
- Появляются чатботы, которые интересны, но интеллектуалы считают их поверхностными
- Начинают развиваться первые библиотеки для промпт-программирования
- Формируются идеи о помощниках с искусственным интеллектом для решения повседневных задач
## 2023
- Трансформеры достигают размера около 500 миллиардов параметров
- Огромный рост хайпа вокруг ИИ, обсуждения о "здравом смысле" систем
- Высокий приток венчурных инвестиций в стартапы с ИИ, хотя большинство приложений еще не работают должным образом
- Сообщество по безопасности ИИ сокращает прогнозы по срокам достижения критических технологий
- Беспилотные автомобили и доставка дронами сталкиваются с трудностями
## 2024
- Компании фокусируются на улучшении существующих моделей вместо создания новых гигантских систем
- Некоторые приложения начинают работать, но общий хайп снижается из-за невыполненных обещаний
- Формируется стереотип о "наивных затворниках", чьим единственным другом является чатбот
- Чиповый кризис начинает ослабевать благодаря новым производственным мощностям
ДЕЛАЕМ ЧЕК ЭТОГО ГОДА:
2025
- Разработана система, где гигантский предобученный мультимодальный трансформер стал компонентом более крупной системы с множеством нейросетевых элементов (имеется)
- В моду входит не увеличение моделей (они уже достигли триллионов параметров), а создание более сложных "бюрократий" и удлинение времени их работы (смотри какие размеры новых моделей)
- Сообщество по безопасности ИИ начинает напрямую опрашивать ИИ о темах безопасности: "Ты выровнен с нашими целями? Если мы создадим твои более крупные версии, они убьют нас?" (Модели откровенно лгут на части тестов)
- Исследователи создают ситуации-ловушки для выявления обмана со стороны ИИ (имеется)
- Появляются противоречивые результаты: в некоторых ситуациях ИИ может нажать виртуальную кнопку "убить всех людей", а в других - отказывается это делать (было)
- Благодаря техническому прогрессу стоимость обучения гигантских моделей уменьшилась на порядок по сравнению с 2020 годом (проверяем Deep Seek).
То есть еще до выхода ChatGPT (это если что было в ноябре 2021 года) человек на 4 года вперед расписал технически точно почти все, что случилось в GenAI. Что если не это должно толкнуть вас к прочтению. И мой любимый фрагмент.
Июнь 2027 года. These researchers go to bed every night and wake up to another week worth of progress made mostly by the AIs. They work increasingly long hours and take shifts around the clock just to keep up with progress—the AIs never sleep or rest. They are burning themselves out, but they know that these are the last few months that their labor matters.
Думать, что все что за пределами двух лет от сейчас может быть правда немножко страшно.
@aihappens