AI Index Report 2025
Стенфордский университет опубликовал отчет о влиянии ИИ с 2013 года по 2025. Отчет огромный, поэтому мы постарались выбрать самые интересные моменты:
➡️ Китай стал лидером по количеству публикаций об ИИ, занимая 23,2% от общего числа публикаций, опередив любую другую страну. Однако за последние три года США выпустили больше статей, вошедших в топ-100 самых цитируемых. 1:1.
➡️ США продолжают лидировать по числу самых известных моделей. На конец 2024 года США выпустили 40 известных моделей, в то время как Китай — 15, а Европа — всего 3.
➡️ Вычислительные затраты на обучение моделей удваиваются каждые пять месяцев, объемы наборов данных для LLM увеличиваются каждые восемь месяцев. Мощность моделей растет ежегодно.
➡️ Стоимость запроса к модели ИИ, которая достигает эквивалентного уровня GPT-3.5 (64.8) на MMLU, снизилась с $20 за миллион токенов в ноябре 2022 года до $0.07 в октябре 2024 года (Gemini-1.5-Flash-8B)—снижение более чем в 280 раз за 18 месяцев. В зависимости от задачи, цены на вывод LLM снизились от 9 до 900 раз в год.
➡️ Выбросы углекислого газа при обучении моделей возросли более чем в 100 000 раз: для сравнения, обучение AlexNet привело к выбросам в 0,01 тонны, в то время как обучение LLama 3.1 405B — к выбросам в 8930 тонн.
➡️ В 2023 году исследователи ИИ представили несколько новых сложных бенчмарков, включая MMMU, GPQA и SWE-bench, к 2024 году производительность ИИ на этих бенчмарках значительно улучшилась, с увеличением на 18,8 и 48,9 процентных пунктов на MMMU и GPQA соответственно. На SWE-bench ИИ-системы могли решить всего 4,4% задач по программированию в 2023 году—эта цифра выросла до 71,7% в 2024 году.
➡️ Меньшие модели обеспечивают более высокую производительность. В 2022 году самой маленькой моделью, достигшей более 60% на MMLU, была PaLM с 540 миллиардами параметров. К 2024 году Microsoft’s Phi-3-mini с всего 3,8 миллиардами параметров достигла того же порога, что представляет собой 142-кратное уменьшение за два года.
Новость прислал подписчик в нашем
чате ❤️