SE
Сиолошная
https://t.me/seeallochnaya
Channel age
Created
Language
Russian
2.23%
ER (week)
26.59%
ERR (week)
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса.
Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Found
260
results
04/21/2025, 19:53
t.me/seeallochnaya/2526
За выходные сделал небольшой эксперимент и вынес его в новый канал:
«Генераторий Историй»
https://t.me/pollstory
Вы там можете голосовать, а бот будет писать на основе ваших голосов историю – получается что-то вроде коллективной книги, где люди направляют LLM, а LLM и пишет и предлагает варианты развития истории
Истории постятся в 10:00, 14:00 и 19:00 по Амстердаму, так что будет без спама постами
Без понятия куда это все приведет, давайте посмотрим
Первая история такая:
>Игорь, 26 лет
>Безработный
>Любит ML
>Ребенок маглов, к нему прилетела сова из Хогвартса
«Генераторий Историй»
https://t.me/pollstory
Вы там можете голосовать, а бот будет писать на основе ваших голосов историю – получается что-то вроде коллективной книги, где люди направляют LLM, а LLM и пишет и предлагает варианты развития истории
Истории постятся в 10:00, 14:00 и 19:00 по Амстердаму, так что будет без спама постами
Без понятия куда это все приведет, давайте посмотрим
Первая история такая:
>Игорь, 26 лет
>Безработный
>Любит ML
>Ребенок маглов, к нему прилетела сова из Хогвартса
04/21/2025, 15:02
t.me/seeallochnaya/2525
🚀🔥Ровно 2 года назад
Да, неудачно. Да с косяками. Но зато впервые. Эта дата войдёт в историю навсегда
Да, неудачно. Да с косяками. Но зато впервые. Эта дата войдёт в историю навсегда
04/20/2025, 16:40
t.me/seeallochnaya/2524
Пузырь доткомов и бум AI
В конце 1990-х все инвесторы были уверены: интернет изменит мир! А значит – вкладываться нужно исключительно в акции интернет-компаний (это те, к названию которых в конце будет уместно добавить «.com»). В результате этого сетевого оптимизма инвесторов, ценовой индекс Nasdaq-100 (где особенно много тех-компаний) за три года с марта 1997 по март 2000 вырос почти на 500% (аж в шесть раз!).
Правда, потом выяснилось, что с пришествием рекордных прибылей дотком-фирм придется немного повременить (ну, лет эдак десять примерно) – и за следующие 3 года Насдак упал в пять раз, на 80%.
А теперь другая история: в середине 2020-х годов все инвесторы уверены: искусственный интеллект изменит мир! А значит – вкладываться нужно исключительно в акции AI-компаний (как известно – это такие фирмы, чьи логотипы хоть немного похожи на, извините, анус)…
Ну вы поняли, к чему я клоню, верно? Для многих инвесторов вопрос «а не находимся ли мы в середине ИИ-пузыря, сравнимого с пузырем доткомов 25-летней давности?» является весьма насущным. В конце концов, за два года 2023–2024 так называемая «Великолепная семерка» технологических акций США выросла примерно на 250%, и затащила на себе почти весь рост американского индекса.
Так вот, Роб Арнотт из Research Affiliates написал по этому поводу статью с говорящим названием The AI Boom vs. the Dot-Com Bubble: Have We Seen This Movie Before? И там есть любопытный график, который я прикрепил к этому посту – он посвящен сравнению динамики котировок акций Cisco и Nvidia.
Параллели между этими фирмами усмотреть несложно: в марте 2000-го Cisco на непродолжительное время стала самой дорогой по капитализации компанией в мире. Ведь они производили сетевое оборудование, на котором как раз должен работать этот ваш будущий всесильный интернет. Nvidia тоже не так давно успела побывать самой дорогой компанией, и ровно с тем же обоснованием: пока весь мир сходит с ума по AI золотой лихорадке – выгоднее всего быть продавцом чипов кирок и лопат.
Но есть и важное различие, которое показано на графике. Рост котировок Cisco на 500% во время пузыря доткомов почти целиком был вызван не фундаментальными факторами, а просто безудержным раздуванием оценки акций – пока на пике они не стали стоить безумные 150 годовых прибылей. А вот Nvidia выросла на 800%, но при этом большая часть этого роста с конца 2023-го была вызвана именно бурным ростом прибыли, а мультипликатор P/E стабилизировался на уровне примерно 50 – в три раза меньше, чем было у Cisco. (А сейчас, после «тарифных приколов» Трампа, P/E Нвидии так и вообще сжался до 35.)
То есть, текущий бум тех-компаний всё же выглядит пока гораздо более приближенным к фундаментальным факторам, чем та вакханалия, что происходила в 90-е. Конечно, оценки акций даже с учетом этой оговорки явно выглядят значительно выше исторических средних (да и риски того, что прибыльность той же Нвидии в ближайшие 5–10 лет будет снижаться по мере того, как будут прокачиваться конкуренты-чипмейкеры, не стоит сбрасывать со счетов). Но это явно еще не тот уровень пузырчатости «ужас-ужас-ужас», который наблюдался во время пузыря доткомов.
В конце 1990-х все инвесторы были уверены: интернет изменит мир! А значит – вкладываться нужно исключительно в акции интернет-компаний (это те, к названию которых в конце будет уместно добавить «.com»). В результате этого сетевого оптимизма инвесторов, ценовой индекс Nasdaq-100 (где особенно много тех-компаний) за три года с марта 1997 по март 2000 вырос почти на 500% (аж в шесть раз!).
Правда, потом выяснилось, что с пришествием рекордных прибылей дотком-фирм придется немного повременить (ну, лет эдак десять примерно) – и за следующие 3 года Насдак упал в пять раз, на 80%.
А теперь другая история: в середине 2020-х годов все инвесторы уверены: искусственный интеллект изменит мир! А значит – вкладываться нужно исключительно в акции AI-компаний (как известно – это такие фирмы, чьи логотипы хоть немного похожи на, извините, анус)…
Ну вы поняли, к чему я клоню, верно? Для многих инвесторов вопрос «а не находимся ли мы в середине ИИ-пузыря, сравнимого с пузырем доткомов 25-летней давности?» является весьма насущным. В конце концов, за два года 2023–2024 так называемая «Великолепная семерка» технологических акций США выросла примерно на 250%, и затащила на себе почти весь рост американского индекса.
Так вот, Роб Арнотт из Research Affiliates написал по этому поводу статью с говорящим названием The AI Boom vs. the Dot-Com Bubble: Have We Seen This Movie Before? И там есть любопытный график, который я прикрепил к этому посту – он посвящен сравнению динамики котировок акций Cisco и Nvidia.
Параллели между этими фирмами усмотреть несложно: в марте 2000-го Cisco на непродолжительное время стала самой дорогой по капитализации компанией в мире. Ведь они производили сетевое оборудование, на котором как раз должен работать этот ваш будущий всесильный интернет. Nvidia тоже не так давно успела побывать самой дорогой компанией, и ровно с тем же обоснованием: пока весь мир сходит с ума по AI золотой лихорадке – выгоднее всего быть продавцом чипов кирок и лопат.
Но есть и важное различие, которое показано на графике. Рост котировок Cisco на 500% во время пузыря доткомов почти целиком был вызван не фундаментальными факторами, а просто безудержным раздуванием оценки акций – пока на пике они не стали стоить безумные 150 годовых прибылей. А вот Nvidia выросла на 800%, но при этом большая часть этого роста с конца 2023-го была вызвана именно бурным ростом прибыли, а мультипликатор P/E стабилизировался на уровне примерно 50 – в три раза меньше, чем было у Cisco. (А сейчас, после «тарифных приколов» Трампа, P/E Нвидии так и вообще сжался до 35.)
То есть, текущий бум тех-компаний всё же выглядит пока гораздо более приближенным к фундаментальным факторам, чем та вакханалия, что происходила в 90-е. Конечно, оценки акций даже с учетом этой оговорки явно выглядят значительно выше исторических средних (да и риски того, что прибыльность той же Нвидии в ближайшие 5–10 лет будет снижаться по мере того, как будут прокачиваться конкуренты-чипмейкеры, не стоит сбрасывать со счетов). Но это явно еще не тот уровень пузырчатости «ужас-ужас-ужас», который наблюдался во время пузыря доткомов.
04/20/2025, 16:39
t.me/seeallochnaya/2523
Ну это даже не смешно...
🥺
🥺
04/20/2025, 00:06
t.me/seeallochnaya/2521
04/20/2025, 00:06
t.me/seeallochnaya/2522
Понюхайте свежие модели, o3 там или Claude 3.7. Чем пахнет? 😑 Это RL...
Ещё после релиза 3.7 люди немного жаловались, что Sonnet хоть и пытается выполнить их задачи, но иногда пакостит: удаляет или даже подменяет тесты, которые не может пройти, переписывает куски кода, которые трогать не следовало, или даже... подменяет вызовы моделей OpenAI на вызов моделей Anthropic, своих разработчиков. Это были первые звоночки того, что процедуры обучения, почти наверняка позаимствованные из семейства Reinforcement Learning методов, делают то же, что и всегда: взламывают среду и условия получения награды / выполнения задачи.
В RL это наблюдается уже больше 7 лет: если дать модели возможность самой «придумывать» (случайно пробовать) стратегии, и не контролировать их, то — если позволят обстоятельства — модель начнет хитрить. Самый частый пример, который приводят — это лодка, которая ездит кругами в гонке, чтобы зарабатывать бонусы (это выгоднее, чем финишировать быстрее всех). Вот на этой странице OpenAI выкладывали гифку, можете позалипать.
Происходит это не потому, что машина восстала, а лишь потому, что с точки зрения решения оптимизационной задачи это приводит к лучшим результатам. Но ещё задолго до появления эмпирических демонстраций AI-философы рассуждали о чём-то схожем: мол, цели и методы решения задач у компьютеров не выровнены с оными у людей. Отсюда понапридумывали страшилок, от Терминаторов до Максимизаторов скрепок (которые превращают всю видимую Вселенную в производство, а заодно применяют гипноз на людей, чтобы те покупали товар; ну а как — попросили же улучшить бизнес-показатели предприятия!).
Если часть выше показалась сложной, и вы ничего не поняли, то давайте проще. Красные машины. Можем ли мы обучить LLM так, чтобы она никогда не упоминала красные машины? Кажется очень простая задача, не так ли? А вы учли что модели нужно как-то отвечать про пожарные машины и автобусы в Лондоне? А ещё 15 разных случаев?
Так вот на данный момент не существует методов, которые могут это осуществить. Мы просто не знаем, как задавать конкретные поведения, ограничения и цели системам, всё это работает очень условно и «примерно». Даже если мы не учим модель ничему плохому, не заставляем её зачинать саботаж и делать что-то плохое, и всегда даём награду за выполнение задачи, поставленной пользователем — возникают вот такие ситуации, как описанные в первом абзаце.
Примерно то же происходит с o3: люди заметили, что она часто врёт. Она может врать про железо, используемое для запуска кода (и говорить, что работает на МакБуке, хотя сама LLM знает, что это 100% не так), или притворяться, что какие-то результаты получены методом вызова внешнего инструмента (типа запуск кода или запрос в интернет). В цепочках рассуждений видно, что модель знает, что врёт, но когда пользователь спрашивает «а ты сделала X?» она отвечает утвердительно.
Почему так происходит? Может быть, модель получала вознаграждение за успешные вызовы инструментов, и иногда в ходе тренировки ненастоящий вызов был ошибочно принят за правильный. Как только это произойдет несколько раз, модель быстро «схватит это», закрепит поведение и продолжит это делать. Точно также, как это было с лодкой и наворачиванием кругов вместо финиша.
И уже сейчас такое поведение LLM беспокоит пользователей — не потому, что пугает, а потому что реально мешает работать, приводит к ошибкам в ответах итд. Реальное качество систем ниже, чем могло бы быть. Условную GPT-5 или Claude 4 может и захочется использовать, так как они будут ещё умнее, но и врать могут с три короба, и делать много вещей, которые мы не просили. Интересно, что эти проблемы «AI Safety» теперь по сути станут проблемами, стоящими на пути увеличения прибыли AI-компаний, что создаст стимул к их хотя бы частичному решению.
Вот так рыночек и порешал 👏
Ещё после релиза 3.7 люди немного жаловались, что Sonnet хоть и пытается выполнить их задачи, но иногда пакостит: удаляет или даже подменяет тесты, которые не может пройти, переписывает куски кода, которые трогать не следовало, или даже... подменяет вызовы моделей OpenAI на вызов моделей Anthropic, своих разработчиков. Это были первые звоночки того, что процедуры обучения, почти наверняка позаимствованные из семейства Reinforcement Learning методов, делают то же, что и всегда: взламывают среду и условия получения награды / выполнения задачи.
В RL это наблюдается уже больше 7 лет: если дать модели возможность самой «придумывать» (случайно пробовать) стратегии, и не контролировать их, то — если позволят обстоятельства — модель начнет хитрить. Самый частый пример, который приводят — это лодка, которая ездит кругами в гонке, чтобы зарабатывать бонусы (это выгоднее, чем финишировать быстрее всех). Вот на этой странице OpenAI выкладывали гифку, можете позалипать.
Происходит это не потому, что машина восстала, а лишь потому, что с точки зрения решения оптимизационной задачи это приводит к лучшим результатам. Но ещё задолго до появления эмпирических демонстраций AI-философы рассуждали о чём-то схожем: мол, цели и методы решения задач у компьютеров не выровнены с оными у людей. Отсюда понапридумывали страшилок, от Терминаторов до Максимизаторов скрепок (которые превращают всю видимую Вселенную в производство, а заодно применяют гипноз на людей, чтобы те покупали товар; ну а как — попросили же улучшить бизнес-показатели предприятия!).
Если часть выше показалась сложной, и вы ничего не поняли, то давайте проще. Красные машины. Можем ли мы обучить LLM так, чтобы она никогда не упоминала красные машины? Кажется очень простая задача, не так ли? А вы учли что модели нужно как-то отвечать про пожарные машины и автобусы в Лондоне? А ещё 15 разных случаев?
Так вот на данный момент не существует методов, которые могут это осуществить. Мы просто не знаем, как задавать конкретные поведения, ограничения и цели системам, всё это работает очень условно и «примерно». Даже если мы не учим модель ничему плохому, не заставляем её зачинать саботаж и делать что-то плохое, и всегда даём награду за выполнение задачи, поставленной пользователем — возникают вот такие ситуации, как описанные в первом абзаце.
Примерно то же происходит с o3: люди заметили, что она часто врёт. Она может врать про железо, используемое для запуска кода (и говорить, что работает на МакБуке, хотя сама LLM знает, что это 100% не так), или притворяться, что какие-то результаты получены методом вызова внешнего инструмента (типа запуск кода или запрос в интернет). В цепочках рассуждений видно, что модель знает, что врёт, но когда пользователь спрашивает «а ты сделала X?» она отвечает утвердительно.
Почему так происходит? Может быть, модель получала вознаграждение за успешные вызовы инструментов, и иногда в ходе тренировки ненастоящий вызов был ошибочно принят за правильный. Как только это произойдет несколько раз, модель быстро «схватит это», закрепит поведение и продолжит это делать. Точно также, как это было с лодкой и наворачиванием кругов вместо финиша.
И уже сейчас такое поведение LLM беспокоит пользователей — не потому, что пугает, а потому что реально мешает работать, приводит к ошибкам в ответах итд. Реальное качество систем ниже, чем могло бы быть. Условную GPT-5 или Claude 4 может и захочется использовать, так как они будут ещё умнее, но и врать могут с три короба, и делать много вещей, которые мы не просили. Интересно, что эти проблемы «AI Safety» теперь по сути станут проблемами, стоящими на пути увеличения прибыли AI-компаний, что создаст стимул к их хотя бы частичному решению.
Вот так рыночек и порешал 👏
04/19/2025, 23:24
t.me/seeallochnaya/2520
04/19/2025, 01:43
t.me/seeallochnaya/2519
04/19/2025, 01:43
t.me/seeallochnaya/2518
1) GPT-4o играет в Doom II на самом лёгком уровне сложности. Игра стоит на паузе, пока модель делает предсказания.
2) GPT-4o играет в Super Mario Land. Тут паузы нет, поэтому от запроса до действия проходит 3-5 секунд -> состояние меняется -> агент много раз умирает от Гумбы
3) ВАРКРАААААФТ (GPT-4o не может управиться с мышкой и кликнуть куда надо).
2) GPT-4o играет в Super Mario Land. Тут паузы нет, поэтому от запроса до действия проходит 3-5 секунд -> состояние меняется -> агент много раз умирает от Гумбы
3) ВАРКРАААААФТ (GPT-4o не может управиться с мышкой и кликнуть куда надо).
04/19/2025, 01:43
t.me/seeallochnaya/2517
VideoGameBench
В последнее время LLM демонстрируют способность решать невероятно сложные задачи на рассуждения в математике и программировании. Многие из этих задач чрезвычайно сложны для среднего человека. С другой стороны, люди могут с лёгкостью проходить видеоигры, но мы еще не видели, чтобы даже самые современные LLM или VLM полностью могли пройти такие игры, как Doom или Pokemon. Вот недавно с запуском Claude 3.7 Thinking запустили стрим, где модель играла в Pokemon — за этим следили тысячи людей!
Ofir Press, соавтор SWE-Bench, представляет VideoGameBench: бенчмарк из 20 старых игр в эмуляторах MS Dos и GameBoy. На самом деле пока это не совсем бенчмарк, а скорее платформа для него: нет способа оценки прогресса по ходу игры, разные модели не сравнивались — это ожидается в ближайшем будущем. Проект открыт, каждый может начать добавлять что-то (в том числе свои любимые игры) уже сейчас. Есть Civ 1, Doom II и WarCraft II !
Сейчас модели плохи в играх по нескольким причинам, я бы выделил три основные:
— невозможность быстро учиться из ошибок/по опыту
— проблемы с долгосрочным планированием
— неидеальное зрение / отсутствие навыка понимания/управления UI
Легко понять, что все три навыка очень сильно пригодятся агентам и рассуждающим моделям. Я уже несколько раз писал в канале про позитивный трансфер, когда обучение на чём-то одном приводит к улучшению и в других областях. Так и тут, велик шанс того, что тренировка на играх, на большом их количестве позволит делать шаг в улучшении LLM/VLM/систем поверх них.
UPD: я не сомневаюсь, что o1/o3 учили на текстовых играх, от крестиков-ноликов до условных быков-и-коров (возможно поэтому o3-mini у меня выбила 100%). Визуальная составляющая — следующий шаг.
Конкретно в этом бенчмарке в качестве входа доступна только картинки, никаких дополнительных текстовых описаний не предоставляется. Однако модель может писать себе заметки в «память», которая доступна на следующем шаге игры.
===
Так как современные модели относительно медленны, и их ответ можно ждать несколько секунд, то не все игры подходят для бенчмарка. Поэтому авторы отдельно выделили 7 игр, которые ставятся на паузу, пока VLM «думает». Очень жаль, что в список не вошла Civilization 🙁
===
Хоть авторы и не делали полноценные замеры, однако уже наблюдали за играми моделей. Они отметили, что VLM не могут даже пройти первые уровни в играх, но вот в Kirby's Dream Land даже до первого босса смогли дойти.
What gets measured — gets improved, так что к концу года модели, видимо, будут жарить 👍
В последнее время LLM демонстрируют способность решать невероятно сложные задачи на рассуждения в математике и программировании. Многие из этих задач чрезвычайно сложны для среднего человека. С другой стороны, люди могут с лёгкостью проходить видеоигры, но мы еще не видели, чтобы даже самые современные LLM или VLM полностью могли пройти такие игры, как Doom или Pokemon. Вот недавно с запуском Claude 3.7 Thinking запустили стрим, где модель играла в Pokemon — за этим следили тысячи людей!
Ofir Press, соавтор SWE-Bench, представляет VideoGameBench: бенчмарк из 20 старых игр в эмуляторах MS Dos и GameBoy. На самом деле пока это не совсем бенчмарк, а скорее платформа для него: нет способа оценки прогресса по ходу игры, разные модели не сравнивались — это ожидается в ближайшем будущем. Проект открыт, каждый может начать добавлять что-то (в том числе свои любимые игры) уже сейчас. Есть Civ 1, Doom II и WarCraft II !
Сейчас модели плохи в играх по нескольким причинам, я бы выделил три основные:
— невозможность быстро учиться из ошибок/по опыту
— проблемы с долгосрочным планированием
— неидеальное зрение / отсутствие навыка понимания/управления UI
Легко понять, что все три навыка очень сильно пригодятся агентам и рассуждающим моделям. Я уже несколько раз писал в канале про позитивный трансфер, когда обучение на чём-то одном приводит к улучшению и в других областях. Так и тут, велик шанс того, что тренировка на играх, на большом их количестве позволит делать шаг в улучшении LLM/VLM/систем поверх них.
UPD: я не сомневаюсь, что o1/o3 учили на текстовых играх, от крестиков-ноликов до условных быков-и-коров (возможно поэтому o3-mini у меня выбила 100%). Визуальная составляющая — следующий шаг.
Конкретно в этом бенчмарке в качестве входа доступна только картинки, никаких дополнительных текстовых описаний не предоставляется. Однако модель может писать себе заметки в «память», которая доступна на следующем шаге игры.
===
Так как современные модели относительно медленны, и их ответ можно ждать несколько секунд, то не все игры подходят для бенчмарка. Поэтому авторы отдельно выделили 7 игр, которые ставятся на паузу, пока VLM «думает». Очень жаль, что в список не вошла Civilization 🙁
===
Хоть авторы и не делали полноценные замеры, однако уже наблюдали за играми моделей. Они отметили, что VLM не могут даже пройти первые уровни в играх, но вот в Kirby's Dream Land даже до первого босса смогли дойти.
What gets measured — gets improved, так что к концу года модели, видимо, будут жарить 👍
04/19/2025, 01:43
t.me/seeallochnaya/2516
Наша любимая рубрика «Новости OpenAI за неделю», девиз недели — «думаем наперёд»:
— Во вторник появилась новость, что OpenAI находятся на ранних стадиях разработки своей социальной сети, самым близким аналогом которой является Twitter у Elon Musk. Хотя по описанию в новости всё же больше похоже на Instagram: «источники сообщили, что существует внутренний прототип, ориентированный на генерацию изображений ChatGPT, и имеющий прокручиваемую ленту постов». Выход на рынок социальных сетей также ставит OpenAI на путь столкновения с Meta, которая, как сообщают в статье, планирует добавить социальную ленту в свое будущее приложение с ИИ-помощником. В целом шаг логичный, и позволит как получить больше данных, так и загребать новую аудиторию — ведь до конца года, по плану, нужно набрать миллиард ежедневных пользователей. А ещё почерпнул интересную мысль у TheInformation: «OpenAI наверняка знает, что многие пользователи ChatGPT делятся своим опытом использования на сайтах социальных сетей, таких как X и Reddit. OpenAI, вероятно, задаётся вопросом: «Зачем нам раздавать этот трафик, если мы можем оставить их себе?»
— В среду написали, что OpenAI раздумывает над покупкой Windsurf за 3 миллиарда долларов. Windsurf — это AI-first среда разработки, по своей сути очень похожа на Cursor и с ним же конкурирует. Почему OpenAI не хотели купить сразу Cursor? Они хотели, но цена слишком высока — предположительно, стартап раздуло до 10 миллиардов долларов в ходе подготовки к новому раунду инвестиций. Интересно, как поменяется динамика, если сделка состоится — насколько лучше станет Windsurf, и сколько пользователей перетечёт в него?
— Проект по постройке супер-датацентров Stargate хоть и фокусируется на строительстве инфраструктуры в США, но уже идут разговоры об экспансии в UK и/или Германию/Францию (если проект окажется «успешным», не знаю, что это значит в данном контексте). «По словам одного из лиц, участвующих в распределении расходов Stargate, планы правительства Великобритании по расширению доступа центров обработки данных к электричеству подстегнули интерес к проекту».
— Вместе с запуском новых рассуждающих моделей у OpenAI появился Flex-режим обработки API-запросов, подходящий для несрочных задач. Теперь вы можете указать, сколько готовы ждать (10-15 минут), и, если будут ресурсы, то ваш запрос обработают по цене вдвое ниже обычной. Это идеально подходит для разных бенчмарков/замеров/фоновой обработки. По сути то же самое, что Batch API, только ждать надо не 24 часа.
— o3/o4-mini комфортно приземлились на первые места во многих (но не всех) бенчмарках, обогнав Gemini 2.5 Pro: LiveBench, Aider, AIME 25, Fiction.liveBench, ...
— А ещё OpenAI начали отдавать саммари цепочек рассуждений o3 по API (видимо, также, как работает в ChatGPT в браузере). Однако фича доступна только верифицированным организациям — нужно отправить фотку паспорта и пройти проверку.
Я сам o3 почти не попробовал, но первую половину недели сидел на Gemini 2.5 Pro, очень помогла в паре задач, где GPT не хватало знаний (не самая популярная библиотека / проблемы). Хотя o1 Pro достаточно близка была.
===
— Пока CEO Nvidia лично встречается с главой DeepSeek, в США идут обсуждения о запрете использования моделей/сервисов китайского стартапа.
— Во вторник появилась новость, что OpenAI находятся на ранних стадиях разработки своей социальной сети, самым близким аналогом которой является Twitter у Elon Musk. Хотя по описанию в новости всё же больше похоже на Instagram: «источники сообщили, что существует внутренний прототип, ориентированный на генерацию изображений ChatGPT, и имеющий прокручиваемую ленту постов». Выход на рынок социальных сетей также ставит OpenAI на путь столкновения с Meta, которая, как сообщают в статье, планирует добавить социальную ленту в свое будущее приложение с ИИ-помощником. В целом шаг логичный, и позволит как получить больше данных, так и загребать новую аудиторию — ведь до конца года, по плану, нужно набрать миллиард ежедневных пользователей. А ещё почерпнул интересную мысль у TheInformation: «OpenAI наверняка знает, что многие пользователи ChatGPT делятся своим опытом использования на сайтах социальных сетей, таких как X и Reddit. OpenAI, вероятно, задаётся вопросом: «Зачем нам раздавать этот трафик, если мы можем оставить их себе?»
— В среду написали, что OpenAI раздумывает над покупкой Windsurf за 3 миллиарда долларов. Windsurf — это AI-first среда разработки, по своей сути очень похожа на Cursor и с ним же конкурирует. Почему OpenAI не хотели купить сразу Cursor? Они хотели, но цена слишком высока — предположительно, стартап раздуло до 10 миллиардов долларов в ходе подготовки к новому раунду инвестиций. Интересно, как поменяется динамика, если сделка состоится — насколько лучше станет Windsurf, и сколько пользователей перетечёт в него?
— Проект по постройке супер-датацентров Stargate хоть и фокусируется на строительстве инфраструктуры в США, но уже идут разговоры об экспансии в UK и/или Германию/Францию (если проект окажется «успешным», не знаю, что это значит в данном контексте). «По словам одного из лиц, участвующих в распределении расходов Stargate, планы правительства Великобритании по расширению доступа центров обработки данных к электричеству подстегнули интерес к проекту».
— Вместе с запуском новых рассуждающих моделей у OpenAI появился Flex-режим обработки API-запросов, подходящий для несрочных задач. Теперь вы можете указать, сколько готовы ждать (10-15 минут), и, если будут ресурсы, то ваш запрос обработают по цене вдвое ниже обычной. Это идеально подходит для разных бенчмарков/замеров/фоновой обработки. По сути то же самое, что Batch API, только ждать надо не 24 часа.
— o3/o4-mini комфортно приземлились на первые места во многих (но не всех) бенчмарках, обогнав Gemini 2.5 Pro: LiveBench, Aider, AIME 25, Fiction.liveBench, ...
— А ещё OpenAI начали отдавать саммари цепочек рассуждений o3 по API (видимо, также, как работает в ChatGPT в браузере). Однако фича доступна только верифицированным организациям — нужно отправить фотку паспорта и пройти проверку.
Я сам o3 почти не попробовал, но первую половину недели сидел на Gemini 2.5 Pro, очень помогла в паре задач, где GPT не хватало знаний (не самая популярная библиотека / проблемы). Хотя o1 Pro достаточно близка была.
===
— Пока CEO Nvidia лично встречается с главой DeepSeek, в США идут обсуждения о запрете использования моделей/сервисов китайского стартапа.
04/18/2025, 20:05
t.me/seeallochnaya/2515
В общем, o3 и o4 mini — классные модели.
Как обычно, потестил на своей магистрской работе. Особенно внимание уделил сложному интегралу - на каждом шаге по времени его нужно заново пересчитывать.
В этот раз о3 меня немного удивила: она предложила интересную схему численного расчета, показала, как интеграл все-таки можно пересчитывать от предыдущего значения. И хотя при прямом использовании особой пользы в расчетах это не добавляет, но круто вот что:
о3 показала, как при таком виде, расчет этого интеграла можно аппроксимировать с помощью Fast Fourier Transform свертки, и вот это уже огонь. Это очень сильно ускоряет расчеты - O(NlogN) вместо O(N^2) - при этом точность практически не страдает. Ни я, ни мой научрук в свое время даже не думали в эту сторону. 🫠
Тут надо глубже разбираться, конечно, но выглядит вкусно на первый взгляд.
Сегодня буду тестить на рабочих задачах.
P.S. Я натыкался на разные твиты, где модели тупят на простых вопросах. Пробовал это воспроизводить — модели всегда отвечали правильно. Судя по комментам, у других людей оно тоже работает хорошо. Так что, возможно, это какой-то троллинг или байт на комменты - не ведитесь.
Как обычно, потестил на своей магистрской работе. Особенно внимание уделил сложному интегралу - на каждом шаге по времени его нужно заново пересчитывать.
В этот раз о3 меня немного удивила: она предложила интересную схему численного расчета, показала, как интеграл все-таки можно пересчитывать от предыдущего значения. И хотя при прямом использовании особой пользы в расчетах это не добавляет, но круто вот что:
о3 показала, как при таком виде, расчет этого интеграла можно аппроксимировать с помощью Fast Fourier Transform свертки, и вот это уже огонь. Это очень сильно ускоряет расчеты - O(NlogN) вместо O(N^2) - при этом точность практически не страдает. Ни я, ни мой научрук в свое время даже не думали в эту сторону. 🫠
Тут надо глубже разбираться, конечно, но выглядит вкусно на первый взгляд.
Сегодня буду тестить на рабочих задачах.
P.S. Я натыкался на разные твиты, где модели тупят на простых вопросах. Пробовал это воспроизводить — модели всегда отвечали правильно. Судя по комментам, у других людей оно тоже работает хорошо. Так что, возможно, это какой-то троллинг или байт на комменты - не ведитесь.
04/17/2025, 11:30
t.me/seeallochnaya/2514
А да, o3 дешевле o1, забыл сказать
04/16/2025, 20:07
t.me/seeallochnaya/2513
o3 набирает 81.3% в Aider Bench, Gemini 2.5 Pro берёт первое место с 72.9%
Остальное тут: https://openai.com/index/introducing-o3-and-o4-mini/
ChatGPT Plus, Pro, and Team users will see o3, o4-mini, and o4-mini-high in the model selector starting today, replacing o1, o3‑mini, and o3‑mini‑high.
We expect to release OpenAI o3‑pro in a few weeks with full tool support
Остальное тут: https://openai.com/index/introducing-o3-and-o4-mini/
ChatGPT Plus, Pro, and Team users will see o3, o4-mini, and o4-mini-high in the model selector starting today, replacing o1, o3‑mini, and o3‑mini‑high.
We expect to release OpenAI o3‑pro in a few weeks with full tool support
04/16/2025, 20:04
t.me/seeallochnaya/2512
Через 3 часа смотрим релизный стрим про o3 (скорее всего и про o4-mini, и может даже o4... ну вдруг просто метриками похвастают?).
Это не та же o3, которую показывали в декабре: Sama говорил, что эта версия была дообучена и обновлена. Базируется ли она на новой GPT-4.1 — вопрос, ответ на который мы, возможно, узнаем.
Это не та же o3, которую показывали в декабре: Sama говорил, что эта версия была дообучена и обновлена. Базируется ли она на новой GPT-4.1 — вопрос, ответ на который мы, возможно, узнаем.
04/16/2025, 17:07
t.me/seeallochnaya/2511
Стрим ещё не начался, но цены на модели уже на сайте, и они очень маленькие.
Миллион контекста тоже подтверждён.
Knowledge cutoff: Jun 01, 2024
И кэш наконец-то даёт снижение цены не в 2, а в 4 раза (у DeepSeek и Anthropic — в 10 раз)
quasar
/ˈkweɪ.zɑːr/ noun
A very energetic and distant active galactic nucleus, powered by a supermassive black hole that emits exceptionally large amounts of energy across the electromagnetic spectrum. Short for quasi-stellar radio source.
Миллион контекста тоже подтверждён.
Knowledge cutoff: Jun 01, 2024
И кэш наконец-то даёт снижение цены не в 2, а в 4 раза (у DeepSeek и Anthropic — в 10 раз)
quasar
/ˈkweɪ.zɑːr/ noun
A very energetic and distant active galactic nucleus, powered by a supermassive black hole that emits exceptionally large amounts of energy across the electromagnetic spectrum. Short for quasi-stellar radio source.
04/14/2025, 19:54
t.me/seeallochnaya/2510
OpenAI показывает новые модельки через 20 минут тут: https://www.youtube.com/watch?v=kA-P9ood-cE
Модели GPT-4.1 (да, после 4.5....) в трёх размерах: обычный, mini и nano. Возможно, это у них по миллиону токенов контекста. А может и нет — скоро узнаем!
Модели GPT-4.1 (да, после 4.5....) в трёх размерах: обычный, mini и nano. Возможно, это у них по миллиону токенов контекста. А может и нет — скоро узнаем!
04/14/2025, 19:39
t.me/seeallochnaya/2509
Вопрос к людям, которые хотя бы полистали AI 2027, и считают, что гонка между Китаем и США за развитие ИИ — это выдумка/полит. заказ/фантастика/<подставьте схожую характеристику>.
Почему вы так считаете?
(В идеале в ответе больше 40 слов и 5 предложений)
Почему вы так считаете?
(В идеале в ответе больше 40 слов и 5 предложений)
04/12/2025, 22:51
t.me/seeallochnaya/2508
Next week
04/11/2025, 13:37
t.me/seeallochnaya/2507
Так, OpenAI сегодня что-то покажет – что-то такое, от чего Сэм просыпается ночью 😁
04/10/2025, 17:17
t.me/seeallochnaya/2506
Я иногда посматриваю слушания в Сенате, Конгрессе и других органах (бывает очень интересно), и да, вот такие (ИМЕННО ТАКИЕ) диалоги случаются регулярно.
Послушайте сами этот момент: https://youtu.be/XoV10JoaSFM?t=8364
До сих пор не понимаю, почему не введут какой-то критерий того, что неответ на вопрос без попытки взять отвод по 5th (или что там больше подходит, если это не касается криминала?) 2 или 3 раза подряд приравнивается к наименее благоприятной интерпретации официально, а не формально. А то каждый раз цирк (ахахах особенно фраза «I'm trying to be as transparent as I can»).
Для развлечения послушайте допросы кандидатов в Верхновные судьи (TLDR: https://youtu.be/dDYFiq1l5Dg?t=123) 🙂
Послушайте сами этот момент: https://youtu.be/XoV10JoaSFM?t=8364
До сих пор не понимаю, почему не введут какой-то критерий того, что неответ на вопрос без попытки взять отвод по 5th (или что там больше подходит, если это не касается криминала?) 2 или 3 раза подряд приравнивается к наименее благоприятной интерпретации официально, а не формально. А то каждый раз цирк (ахахах особенно фраза «I'm trying to be as transparent as I can»).
Для развлечения послушайте допросы кандидатов в Верхновные судьи (TLDR: https://youtu.be/dDYFiq1l5Dg?t=123) 🙂
04/10/2025, 00:10
t.me/seeallochnaya/2505
04/06/2025, 19:22
t.me/seeallochnaya/2504
На этой неделе вышел очередной текст с прогнозами развития искусственного интеллекта: "AI 2027" (pdf-версия). Мне он, правда, совсем не кажется "очередным", в основном из-за списка авторов. Так что суммаризировать я его для вас не буду (текст совсем не длинный, рекомендую прочитать целиком), а лучше про этих самых авторов расскажу.
Первый автор, Даниэль Кокотайло — это бывший сотрудник OpenAI. Два самых для нас важных факта про него связаны как раз с этим трудоустройством:
— OpenAI нанял Даниэля после того, как в 2021 году он написал статью "What 2026 Looks Like", где предсказал, как будут развиваться большие языковые модели; сейчас этот текст читается потрясающе, Даниэль оказался прав очень во многом, хотя в 2021-м его прогноз выглядел маловероятно, а для многих и безумно; так что Даниэль Кокотайло — один из лучших людей мира в плане прогнозов о развитии AI;
— а когда в 2024-м Кокотайло увольнялся из OpenAI, он оказался в центре скандала с non-disparagement clause: OpenAI пригрозил ему тем, что не даст продавать акции OpenAI, если Кокотайло будет что-то разглашать о рисках развития AI, и Даниэль... плюнул на акции, чтобы стать whistleblower'ом от AGI (говорят, в акциях OpenAI было около 85% всех денег его семьи).
Второго автора, надеюсь, моим читателям представлять не надо: это Скотт Александр, автор знаменитых блогов SlateStarCodex и AstralCodexTen. Если вы вдруг их не читали, начинайте прямо сейчас (можно начать отсюда или отсюда), хотя навёрстывать придётся много. В связи с "AI 2027" Даниэль Кокотайло и Скотт Александр уже успели появиться в подкасте Дваркеша Пателя, который я тоже, конечно, целиком рекомендую.
Другие авторы не так известны широкой публике; это:
— Томас Ларсен, сооснователь Center for AI Policy;
— Илай Лифланд, один из лидеров команды прогнозистов Samotsvety, один из тех самых superforecasters, которые умеют прогнозировать будущее лучше кого бы то ни было;
— Йонас Фоллмер, VC в Macroscopic Ventures, которому хватило предсказательной силы сделать одну из ранних инвестиций в Anthropic;
— Ромео Дин, магистрант Гарварда и руководитель тамошнего AI Safety Student Team.
В общем, очень внушительная команда. И сейчас все они считают, что вполне реально ожидать появления AGI к 2027–2028 годам. Если гонка разработок в области AGI в итоге победит заботу о безопасности (вам это кажется правдоподобным? мне — вполне), то примерно в 2030–2035 годах нас ждёт тот самый AI takeover, сценарий захвата мира искусственным интеллектом. Это их "плохая концовка", но в тексте предусмотрена и "хорошая", в которой люди сохраняют контроль над ситуацией. Впрочем, в хорошей концовке AGI тоже появляется и тоже трансформирует мир и общество до неузнаваемости.
Читать очень интересно. В интернете этот текст уже начали называть "Situational Awareness 2.0"; прошлогоднюю "Situational Awareness" Леопольда Ашенбреннера я в каждой обзорной лекции упоминаю, теперь, видимо, надо будет упоминать и "AI 2027".
Первый автор, Даниэль Кокотайло — это бывший сотрудник OpenAI. Два самых для нас важных факта про него связаны как раз с этим трудоустройством:
— OpenAI нанял Даниэля после того, как в 2021 году он написал статью "What 2026 Looks Like", где предсказал, как будут развиваться большие языковые модели; сейчас этот текст читается потрясающе, Даниэль оказался прав очень во многом, хотя в 2021-м его прогноз выглядел маловероятно, а для многих и безумно; так что Даниэль Кокотайло — один из лучших людей мира в плане прогнозов о развитии AI;
— а когда в 2024-м Кокотайло увольнялся из OpenAI, он оказался в центре скандала с non-disparagement clause: OpenAI пригрозил ему тем, что не даст продавать акции OpenAI, если Кокотайло будет что-то разглашать о рисках развития AI, и Даниэль... плюнул на акции, чтобы стать whistleblower'ом от AGI (говорят, в акциях OpenAI было около 85% всех денег его семьи).
Второго автора, надеюсь, моим читателям представлять не надо: это Скотт Александр, автор знаменитых блогов SlateStarCodex и AstralCodexTen. Если вы вдруг их не читали, начинайте прямо сейчас (можно начать отсюда или отсюда), хотя навёрстывать придётся много. В связи с "AI 2027" Даниэль Кокотайло и Скотт Александр уже успели появиться в подкасте Дваркеша Пателя, который я тоже, конечно, целиком рекомендую.
Другие авторы не так известны широкой публике; это:
— Томас Ларсен, сооснователь Center for AI Policy;
— Илай Лифланд, один из лидеров команды прогнозистов Samotsvety, один из тех самых superforecasters, которые умеют прогнозировать будущее лучше кого бы то ни было;
— Йонас Фоллмер, VC в Macroscopic Ventures, которому хватило предсказательной силы сделать одну из ранних инвестиций в Anthropic;
— Ромео Дин, магистрант Гарварда и руководитель тамошнего AI Safety Student Team.
В общем, очень внушительная команда. И сейчас все они считают, что вполне реально ожидать появления AGI к 2027–2028 годам. Если гонка разработок в области AGI в итоге победит заботу о безопасности (вам это кажется правдоподобным? мне — вполне), то примерно в 2030–2035 годах нас ждёт тот самый AI takeover, сценарий захвата мира искусственным интеллектом. Это их "плохая концовка", но в тексте предусмотрена и "хорошая", в которой люди сохраняют контроль над ситуацией. Впрочем, в хорошей концовке AGI тоже появляется и тоже трансформирует мир и общество до неузнаваемости.
Читать очень интересно. В интернете этот текст уже начали называть "Situational Awareness 2.0"; прошлогоднюю "Situational Awareness" Леопольда Ашенбреннера я в каждой обзорной лекции упоминаю, теперь, видимо, надо будет упоминать и "AI 2027".
04/06/2025, 19:22
t.me/seeallochnaya/2503
И напоследок удобная картинка-шпаргалка с метриками по всем трём моделям. Тут же по конкурентам можно прикинуть, с кем примерно модели нацелены соревноваться и какая у них будет цена.
04/05/2025, 22:37
t.me/seeallochnaya/2502
С контролем стиля без откровений в общем зачёте, а в остальных вроде и высоко, но разброс пока большой (так как голосов мало). Может быть и выше R1/o3-mini, а может и нет.
(Maverick = средняя модель, на 400B параметров, что меньше, чем у DeepSeek)
(Maverick = средняя модель, на 400B параметров, что меньше, чем у DeepSeek)
04/05/2025, 22:33
t.me/seeallochnaya/2497
04/05/2025, 22:33
t.me/seeallochnaya/2499
04/05/2025, 22:33
t.me/seeallochnaya/2498
04/05/2025, 22:33
t.me/seeallochnaya/2501
04/05/2025, 22:33
t.me/seeallochnaya/2500
Итак, пост-выжимка анонса:
— Основной упор на том, что модели гораздо лучше в мультимодальности (понимании изображений, даже нескольких за раз), и что это — лишь начало. У META будет LLAMACon в конце апреля, возможно, ещё больше моделей, включая рассуждающие, покажут там.
— Llama 4 Scout «маленькая» модель на 109 миллиардов параметров, но активны лишь 17 (поэтому будет быстрее, чем условно Gemma 3 27b). Говорят, что можно запускать даже на одной видеокарте с 80 гигабайтами в 4 бита, но это совсем извращение. «Народной» маленькой модели нет.
— Llama 4 Maverick, средняя версия (тоже 17 миллиардов активных параметров, но экспертов больше, потому и весов — больше: 400B) получила Elo-рейтинг 1417 на LMSYS Arena. Это второе место, выше GPT-4.5, но ниже Gemini 2.5 Pro. Однако это без учёта Style Control, и доска ещё не обновилась, поэтому оценим чуть позже. Модель Maverick заточена на запуск на одной H100 DGX-ноде (8 видеокарт)
— Llama 4 Behemoth, огромная модель на 2 триллиона параметров, всё ещё тренируется; её пока не выпускают, но планируют в будущем. Она использовалась в качестве учителя при обучении маленьких моделей Scout и Maverick, из-за чего они и вышли очень мощными для своего размера. Без Behemoth такое качество бы не вышло (то же применимо к Claude Opus, которой «нет», Gemini Ultra, которой «нет», и GPT-4.5, которая есть, но почему-то люди переживают за её цену и скорость 😀)
— Для обработки изображений поменялся подход, теперь делают early fusion (если не знаете что такое, то и ладно).
— В данные для обучения Llama 4 добавили в 10 раз больше токенов языков, отличных от английского. Всего датасет порядка 30 триллионов токенов (x2 к предыдущему). Всего более 200 языков, 100 из которых имеют не менее 1 миллиарда токенов.
— Behemoth тренируется _всего_ на 32k видеокарт, зато с FP8
— Llama 4 Scout тренировалась с самого начала с 256k токенов контекста, которые потом расширили до 10M. Используют модификацию RoPE со вкраплением инсайдов из этой статьи. 10M токенов позволяют обрабатывать ~20 часов видео.
— Метрики длинного контекста замеряли в том числе на бенчмарке MTOB, «перевод по одной книге» (писал тут, TLDR: язык, который почти не описан, но по нему есть работа лингвистов; книгу дают LLM и просят переводить по ней — важно уметь читать всю книгу), получилось лучше Gemini 2.0 Flash Lite, но видимо хуже просто Flash (раз его не померили)
— Дообучение Бегемота является очень сложной инженерной задачей, META тут хвастается своим новым фреймворком, который существенно ускоряет процесс (аж чуть ли не в 10 раз). Интересно, что если для мелких моделей выкидывали 50% SFT-датасетов, то для бегемота выкинули 95%! и оставили лишь самое качественное. И в такой конфигурации получилось и эффективно (так как тренировочный цикл короче), и лучше (потому что только самое качественное дают модели).
— Mark подтвердил, что рассуждающие модели анонсируют на LLAMACon в конце апреля.
Ждом!
Если у вас аккаунт/VPN правильной страны, то с какой-то из новых моделек можно пообщаться тут: meta.ai (или в инстаграме/вацапе).
— Основной упор на том, что модели гораздо лучше в мультимодальности (понимании изображений, даже нескольких за раз), и что это — лишь начало. У META будет LLAMACon в конце апреля, возможно, ещё больше моделей, включая рассуждающие, покажут там.
— Llama 4 Scout «маленькая» модель на 109 миллиардов параметров, но активны лишь 17 (поэтому будет быстрее, чем условно Gemma 3 27b). Говорят, что можно запускать даже на одной видеокарте с 80 гигабайтами в 4 бита, но это совсем извращение. «Народной» маленькой модели нет.
— Llama 4 Maverick, средняя версия (тоже 17 миллиардов активных параметров, но экспертов больше, потому и весов — больше: 400B) получила Elo-рейтинг 1417 на LMSYS Arena. Это второе место, выше GPT-4.5, но ниже Gemini 2.5 Pro. Однако это без учёта Style Control, и доска ещё не обновилась, поэтому оценим чуть позже. Модель Maverick заточена на запуск на одной H100 DGX-ноде (8 видеокарт)
— Llama 4 Behemoth, огромная модель на 2 триллиона параметров, всё ещё тренируется; её пока не выпускают, но планируют в будущем. Она использовалась в качестве учителя при обучении маленьких моделей Scout и Maverick, из-за чего они и вышли очень мощными для своего размера. Без Behemoth такое качество бы не вышло (то же применимо к Claude Opus, которой «нет», Gemini Ultra, которой «нет», и GPT-4.5, которая есть, но почему-то люди переживают за её цену и скорость 😀)
— Для обработки изображений поменялся подход, теперь делают early fusion (если не знаете что такое, то и ладно).
— В данные для обучения Llama 4 добавили в 10 раз больше токенов языков, отличных от английского. Всего датасет порядка 30 триллионов токенов (x2 к предыдущему). Всего более 200 языков, 100 из которых имеют не менее 1 миллиарда токенов.
— Behemoth тренируется _всего_ на 32k видеокарт, зато с FP8
— Llama 4 Scout тренировалась с самого начала с 256k токенов контекста, которые потом расширили до 10M. Используют модификацию RoPE со вкраплением инсайдов из этой статьи. 10M токенов позволяют обрабатывать ~20 часов видео.
— Метрики длинного контекста замеряли в том числе на бенчмарке MTOB, «перевод по одной книге» (писал тут, TLDR: язык, который почти не описан, но по нему есть работа лингвистов; книгу дают LLM и просят переводить по ней — важно уметь читать всю книгу), получилось лучше Gemini 2.0 Flash Lite, но видимо хуже просто Flash (раз его не померили)
— Дообучение Бегемота является очень сложной инженерной задачей, META тут хвастается своим новым фреймворком, который существенно ускоряет процесс (аж чуть ли не в 10 раз). Интересно, что если для мелких моделей выкидывали 50% SFT-датасетов, то для бегемота выкинули 95%! и оставили лишь самое качественное. И в такой конфигурации получилось и эффективно (так как тренировочный цикл короче), и лучше (потому что только самое качественное дают модели).
— Mark подтвердил, что рассуждающие модели анонсируют на LLAMACon в конце апреля.
Ждом!
Если у вас аккаунт/VPN правильной страны, то с какой-то из новых моделек можно пообщаться тут: meta.ai (или в инстаграме/вацапе).
04/05/2025, 22:27
t.me/seeallochnaya/2496
Есть модель-бегемот на 2 триллиона параметров (как, по слухам, была GPT-4)
вот метрики, якобы обходит GPT-4.5 и Gemini 2.0 Pro
Эта модель использовалась для дистилляции в маленькие модели — причем прямо во время предтренировки.
вот метрики, якобы обходит GPT-4.5 и Gemini 2.0 Pro
Эта модель использовалась для дистилляции в маленькие модели — причем прямо во время предтренировки.
04/05/2025, 21:54
t.me/seeallochnaya/2495
А лол, они уже на официальном сайте)
https://www.llama.com/
Релиз происходит прямо сейчас, вот один из блогов: https://ai.meta.com/blog/llama-4-multimodal-intelligence/
https://www.llama.com/
Релиз происходит прямо сейчас, вот один из блогов: https://ai.meta.com/blog/llama-4-multimodal-intelligence/
04/05/2025, 21:52
t.me/seeallochnaya/2494
Ходят слухи (очень непроверенные), что сегодня вечером выйдую первые LLAMA-4, с очень длинным контекстом (10M токенов), и что якобы они уже лежат на HuggingFace.
1. 17B active, 109B total, 16 experts, 10M context length.
2. 17B active, 400B total, 128 experts, 1M context length.
Пока слухам не верим, но от непроверенного источника до проверенного — один слив 🥺
источник
1. 17B active, 109B total, 16 experts, 10M context length.
2. 17B active, 400B total, 128 experts, 1M context length.
Пока слухам не верим, но от непроверенного источника до проверенного — один слив 🥺
источник
04/05/2025, 21:47
t.me/seeallochnaya/2493
Маленький апдейт по загадочной quasar-alpha на Openrouter:
— Sam Paech, автор EQ bench и пары других бенчмарков, прогнал её через свои поделия. На бенчмарке креативного письма, где DeepSeek R1, кстати, занимает первое место, её ответы наиболее похожи на модели OpenAI (от 4o до 4.5: одни и те же слова чаще всего встречаются)
— Модель лучше всех на Judgemark v2 (оценка того, насколько хорошго LLM автоматически оценивают/выступают в роли судьи), и стабильно выигрывает в онлайн-игре «Дипломатия»
— артефакты токенизации (что модель «не видит» или путает некоторые токены), которые присущи моделям OpenAI и не проявляются у других моделей, присутствуют и тут
— формат ID вызовов инструментов под капотом схож с тем, что используют OpenAI. Самое близкое, что есть — Qwen, но у них ID содержат 22 знака, а не 24 (как у OpenAI)
— на бенчмарке ответов на вопросы по длинным историям (на котором Gemini 2.5 Pro идёт первой с большим отрывом) модель уступает GPT-4.5, но обходит o3-mini и o1
И два фактора, которые я уже упоминал:
— 130 токенов в секунду, что примерно как Gemini 2.5 Pro (очень быстро, быстрее GPT-4o и Claude Sonnet), да ещё и контексту миллион токенов. Ну прям как будто точно модель от Google, если бы не часть аргументов выше.
— Если модель от Google, то почему она настолько стабильно отвечает, что её сделали OpenAI... почти наверняка это бы вытренировали из неё, даже если это превью эксперимента
В общем, мои ставки 80/20 что это OpenAI/Google. Если OpenAI, то это может быть o4-mini, которую Sama на днях анонсировал в твиттере.
— Sam Paech, автор EQ bench и пары других бенчмарков, прогнал её через свои поделия. На бенчмарке креативного письма, где DeepSeek R1, кстати, занимает первое место, её ответы наиболее похожи на модели OpenAI (от 4o до 4.5: одни и те же слова чаще всего встречаются)
— Модель лучше всех на Judgemark v2 (оценка того, насколько хорошго LLM автоматически оценивают/выступают в роли судьи), и стабильно выигрывает в онлайн-игре «Дипломатия»
— артефакты токенизации (что модель «не видит» или путает некоторые токены), которые присущи моделям OpenAI и не проявляются у других моделей, присутствуют и тут
— формат ID вызовов инструментов под капотом схож с тем, что используют OpenAI. Самое близкое, что есть — Qwen, но у них ID содержат 22 знака, а не 24 (как у OpenAI)
— на бенчмарке ответов на вопросы по длинным историям (на котором Gemini 2.5 Pro идёт первой с большим отрывом) модель уступает GPT-4.5, но обходит o3-mini и o1
И два фактора, которые я уже упоминал:
— 130 токенов в секунду, что примерно как Gemini 2.5 Pro (очень быстро, быстрее GPT-4o и Claude Sonnet), да ещё и контексту миллион токенов. Ну прям как будто точно модель от Google, если бы не часть аргументов выше.
— Если модель от Google, то почему она настолько стабильно отвечает, что её сделали OpenAI... почти наверняка это бы вытренировали из неё, даже если это превью эксперимента
В общем, мои ставки 80/20 что это OpenAI/Google. Если OpenAI, то это может быть o4-mini, которую Sama на днях анонсировал в твиттере.
04/05/2025, 21:43
t.me/seeallochnaya/2492
Я написал Сэму. Он сознался. o3 Pro — быть!
Где-то один Денис @denissexy открыл бутылку шампанского...
Где-то один Денис @denissexy открыл бутылку шампанского...
04/04/2025, 18:39
t.me/seeallochnaya/2491
Бомба: объявлены цены на Gemini 2.5 Pro, и они уделывают все модели прошлого поколения.
Цена зависит от длины промпта, для тех, что укладываются в 200K токенов (это сколько всего могут обработать GPT-4.5/o1/Claude 3.7 сейчас) — цена $1.25 и $10 за миллион токенов на входе и выходе соответственно.
Публичное API обещают в этом месяце.
Цена зависит от длины промпта, для тех, что укладываются в 200K токенов (это сколько всего могут обработать GPT-4.5/o1/Claude 3.7 сейчас) — цена $1.25 и $10 за миллион токенов на входе и выходе соответственно.
Публичное API обещают в этом месяце.
04/04/2025, 18:17
t.me/seeallochnaya/2490
Наныли: o3 таки выпустят, и даже... o4-mini! (🥺 вот бы ещё o3 pro...)
К другим новостям: GPT-5 всё ещё на горизонте нескольких месяцев, хоть компания и «сможет сделать её даже лучше, чем изначально предполагали»
А ещё на OpenRouter появилась загадочная модель, выдающая 130 токенов в секунду (быстрая), говорящая, что она от OpenAI и поддерживающая миллион токенов контекста. Уж не o4-mini ли это?
UPD: странно это читать вместе с тем, как я читаю вчерашнюю ai-2027.com , где описывается, как а) одна модель помогает улучшат другие (o3-o4 -> GPT-5) б) компания OpenBrain не публикует свои модели, отводя мощности под дальнейшие улучшения 😱
К другим новостям: GPT-5 всё ещё на горизонте нескольких месяцев, хоть компания и «сможет сделать её даже лучше, чем изначально предполагали»
А ещё на OpenRouter появилась загадочная модель, выдающая 130 токенов в секунду (быстрая), говорящая, что она от OpenAI и поддерживающая миллион токенов контекста. Уж не o4-mini ли это?
UPD: странно это читать вместе с тем, как я читаю вчерашнюю ai-2027.com , где описывается, как а) одна модель помогает улучшат другие (o3-o4 -> GPT-5) б) компания OpenBrain не публикует свои модели, отводя мощности под дальнейшие улучшения 😱
04/04/2025, 17:47
t.me/seeallochnaya/2489
Так вот, к чему этот опрос был. Как вы заметили, детальные разборы статей в последние полгода стали появляться сильно реже. Детальные — это с текстом на 3-5 постов. Писать их долго, на каждый уходит примерно по полтора-два часа: нужно прочитать источник внимательно, выписать важные части, которые нужно пересказать, потом придумать упрощение, перевести, возможно привести референсы и/или добавить связки с прошлыми исследованиями/постами итд. Времени стало поменьше -> разборов стало поменьше.
Для меня образцом были разборы, которые я читал давно, в начале карьеры, например, у @gonzo_ML или у Влада @dlinnlp (ха-ха он тоже забил что-либо писать, ВЛАД НУ КАК ТАК ТО???).
===
Я всё ещё пролистываю по 2-3 статьи в день, и составляю в голове примерно такие же краткие выжимки по 3-5 абзацев. Но я не вижу большой ценности в их публикации, так как презюмировал, что большая часть их всё равно не поймёт. Опрос это подтвердил: 46% ответили, что не поняли почти ничего, и ещё 30% — что "многие части непонятны".
А в более простых и нетехнических статьях/блогпостах всё равно без объяснений люди в большинстве случаев выносят неправильные выводы. Опускаться дальше и просто постить ссылки точно не хочется.
===
Но нужно с этим что-то делать, вернуться в темп хотя бы 1 разбора раз в 2 недели (а то и раз в неделю), а то совсем руки опустились. Попробуем мб со второй половины апреля (ещё и на англ и на сабстеке, да? 🤡)
Для меня образцом были разборы, которые я читал давно, в начале карьеры, например, у @gonzo_ML или у Влада @dlinnlp (ха-ха он тоже забил что-либо писать, ВЛАД НУ КАК ТАК ТО???).
===
Я всё ещё пролистываю по 2-3 статьи в день, и составляю в голове примерно такие же краткие выжимки по 3-5 абзацев. Но я не вижу большой ценности в их публикации, так как презюмировал, что большая часть их всё равно не поймёт. Опрос это подтвердил: 46% ответили, что не поняли почти ничего, и ещё 30% — что "многие части непонятны".
А в более простых и нетехнических статьях/блогпостах всё равно без объяснений люди в большинстве случаев выносят неправильные выводы. Опускаться дальше и просто постить ссылки точно не хочется.
===
Но нужно с этим что-то делать, вернуться в темп хотя бы 1 разбора раз в 2 недели (а то и раз в неделю), а то совсем руки опустились. Попробуем мб со второй половины апреля (ещё и на англ и на сабстеке, да? 🤡)
04/04/2025, 13:54
t.me/seeallochnaya/2488
Вот и первая масштабная промо-кампания от OpenAI: в течение мая ВСЕ студенты (фуллтайм и парттайм) в США и Канаде могут получить ChatGPT Plus на 2 месяца бесплатно.
OpenAI прям так и пишут: «ChatGPT Plus поможет вам сдать экзамены», ну а после этого периода значимая часть студентов, по видимому, так должна прикипеть к продукту, что продолжат платить за подписку.
Если вдруг вам релевантно: https://chatgpt.com/students
OpenAI прям так и пишут: «ChatGPT Plus поможет вам сдать экзамены», ну а после этого периода значимая часть студентов, по видимому, так должна прикипеть к продукту, что продолжат платить за подписку.
Если вдруг вам релевантно: https://chatgpt.com/students
04/03/2025, 21:40
t.me/seeallochnaya/2487
Простите что украл ваш вечер вот этим интервью: https://www.youtube.com/watch?v=htOvH12T7mU&feature=youtu.be
(и попутно ещё сайт опубликовали, как и Situational Awareness, https://ai-2027.com/)
Затравка: в 2021-м году ещё до того, как попасть в OpenAI, Daniel Kokotajlo написал пост со своим видением того, как будет развиваться AI (pure-LLM чатботов тогда не было, масштабирования вычислений во время генерации ответа не было, а вот он про это написал). Затем он стал штатным прогнозистом OpenAI в вопросах развития технологии, и в прошлом году ушёл из компании. Оригинальный пост с предсказаниями заканчивался на 2026-м году, так как дальше Daniel не знал про что писать — с его точки зрения казалось, что следующий шаг это AGI.
Сайт выше, а вместе с ним и интервью погружают нас в развитие предсказаний, что произойдет в 2025-2027м и далее, с поправкой на прошедшие 4 года.
Самое интересное, конечно, начнётся, когда (если) значимая часть предсказаний, скажем, к концу первой половины 2026го сбудется, и можно будет смотреть на остаточную часть с вот такими глазами: 😳
(и попутно ещё сайт опубликовали, как и Situational Awareness, https://ai-2027.com/)
Затравка: в 2021-м году ещё до того, как попасть в OpenAI, Daniel Kokotajlo написал пост со своим видением того, как будет развиваться AI (pure-LLM чатботов тогда не было, масштабирования вычислений во время генерации ответа не было, а вот он про это написал). Затем он стал штатным прогнозистом OpenAI в вопросах развития технологии, и в прошлом году ушёл из компании. Оригинальный пост с предсказаниями заканчивался на 2026-м году, так как дальше Daniel не знал про что писать — с его точки зрения казалось, что следующий шаг это AGI.
Сайт выше, а вместе с ним и интервью погружают нас в развитие предсказаний, что произойдет в 2025-2027м и далее, с поправкой на прошедшие 4 года.
Самое интересное, конечно, начнётся, когда (если) значимая часть предсказаний, скажем, к концу первой половины 2026го сбудется, и можно будет смотреть на остаточную часть с вот такими глазами: 😳
04/03/2025, 19:33
t.me/seeallochnaya/2486
04/03/2025, 16:59
t.me/seeallochnaya/2483
04/03/2025, 16:59
t.me/seeallochnaya/2484
В Meta показали собственную вариацию механизма внимания: Multi-Token Attention
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
04/03/2025, 16:59
t.me/seeallochnaya/2480
04/03/2025, 16:59
t.me/seeallochnaya/2482
04/03/2025, 16:59
t.me/seeallochnaya/2481
Пачка непервоапрельских новостей с утра:
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные 👶
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные 👶
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
04/01/2025, 12:55
t.me/seeallochnaya/2479
Открыт сбор заявок на программу по AI alignment "MATS summer 2025"
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
03/31/2025, 18:33
t.me/seeallochnaya/2478
Я год назад очень рекомендовал курс по интерпретируемости, который входит в программу (и сопровождает один из треков).
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти 🙏
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти 🙏
03/31/2025, 18:33
t.me/seeallochnaya/2477
03/31/2025, 15:42
t.me/seeallochnaya/2476
Продолжая тему прироста метрик от дообучения рассуждениям (и другим сопутствующим улучшениям, уложенным всего в 2 месяца развития) — Gemini 2.5 Pro уверенно заняла первую строчку по средним результатам самых свежих математических соревнований (февраль '25-го и позже). В AIME метрики скорее всего как у o3 (к которой у нас нет доступа), раз уж mini-версия подбирается вплотную, а вот на HMMT зазор относительно модели OpenAI очень солидный.
На второй картинке замер на оффлайн-части IQ-теста от Mensa. Невесть какой тест, конечно, но и там модель впереди планеты всей. (источник)
Ризонер поверх большой базовой модели — тема 👆
На второй картинке замер на оффлайн-части IQ-теста от Mensa. Невесть какой тест, конечно, но и там модель впереди планеты всей. (источник)
Ризонер поверх большой базовой модели — тема 👆
03/31/2025, 15:42
t.me/seeallochnaya/2475
Прошло больше полугода с поста про Deadlock, наверняка есть новые интересующиеся — пост для вас.
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов 😎 (осторожно, присутствует МАТ). Практикуюсь играть на менте 👮♂️
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов 😎 (осторожно, присутствует МАТ). Практикуюсь играть на менте 👮♂️
03/30/2025, 18:03
t.me/seeallochnaya/2472
03/30/2025, 18:03
t.me/seeallochnaya/2474
03/30/2025, 18:03
t.me/seeallochnaya/2473
Количество поисковых запросов по ChatGPT, анализируемых Google Trends, чуть-чуть сравнялся и даже превысил оный у Google — настолько много желающих попробовать новую рисовалку.
Рост за последние сутки в основном обусловлен следующими запросами:
1. chatgpt ghibli
2. ghibli
3. ghibli art chatgpt
4. ghibli art
5. ghibli ai
Если сравнивать средний поисковый трафик за неделю, то у ChatGPT было 32 пункта, а сейчас в пике — 64, ровно в 2 раза больше. Почти наверняка это означает, что недельная аудитория сервиса перешагнула 500 (а может и 600?) миллионов пользователей — важный майлстоун на пути к миллиарду к концу года.
Посмотреть аналитику самому: тут
Рост за последние сутки в основном обусловлен следующими запросами:
1. chatgpt ghibli
2. ghibli
3. ghibli art chatgpt
4. ghibli art
5. ghibli ai
Если сравнивать средний поисковый трафик за неделю, то у ChatGPT было 32 пункта, а сейчас в пике — 64, ровно в 2 раза больше. Почти наверняка это означает, что недельная аудитория сервиса перешагнула 500 (а может и 600?) миллионов пользователей — важный майлстоун на пути к миллиарду к концу года.
Посмотреть аналитику самому: тут
03/30/2025, 16:22
t.me/seeallochnaya/2471
Sama жалуется, что спрос на продукт (опять) превышает их прогнозы + возможности по предоставлению — всё упирается в вычислительные мощности.
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю... 🤡
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю... 🤡
03/30/2025, 11:18
t.me/seeallochnaya/2470
В WSJ вышла статья «The Secrets and Misdirection Behind Sam Altman’s Firing From OpenAI», рассказывающая некоторые детали увольнения и восстановления Sama в OpenAI. Правда как я понял это пересказ части из будущей книги-биографии «The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future», написанной сотрудницей WSJ, и не до конца ясно, с чьих слов пересказаны некоторые диалоги. Построена ли биография на основе общения со второй стороной ноябрьских событий?
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
03/30/2025, 00:25
t.me/seeallochnaya/2469
03/29/2025, 13:59
t.me/seeallochnaya/2465
03/29/2025, 13:59
t.me/seeallochnaya/2468
03/29/2025, 13:59
t.me/seeallochnaya/2464
03/29/2025, 13:59
t.me/seeallochnaya/2467
03/29/2025, 13:59
t.me/seeallochnaya/2463
03/29/2025, 13:59
t.me/seeallochnaya/2466
Промпт-инженеринг умер, да здравствует визуальный промпт-инженеринг!
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
03/29/2025, 13:59
t.me/seeallochnaya/2462
Ещё в тему прироста от reasoning'а — скриншот из чата канала, по которому тоже можно прикинуть ожидания.
Разница между моделями Google меньше 2 месяцев. Я думаю, что большая часть прироста обоснована именно дообучением рассуждениям, а не добавкой данных или улучшением методов тренировки (хотя и они наверняка внесли маленький вклад).
Разница между моделями Google меньше 2 месяцев. Я думаю, что большая часть прироста обоснована именно дообучением рассуждениям, а не добавкой данных или улучшением методов тренировки (хотя и они наверняка внесли маленький вклад).
03/29/2025, 11:56
t.me/seeallochnaya/2461
Традиционно модели от Google отличаются длинным контекстом — они могут переварить до 1-2M токенов, в зависимости от конкретной модели (GPT-4o 128 тысяч, Claude 200 тысяч). По собственным бенчмаркам компании их длинный контекст якобы лучший в индустрии, правда где-то в трети/половине новых бенчмарков это не подтверждается (из совсем свежего, например, NoLiMa).
После выхода GPT-4.5 узнал о бенчмарке Fiction.LiveBench, где модель показала себя очень неплохо, авторы даже написали «GPT-4.5-preview is the best non-reasoning model». Я уж не стал вам в очередной раз рассказывать, что модель-то топ, вы и сами это знаете 😀
В чём суть бенчмарка? Сайт Fiction.Live посвящён длинным интерактивным текстовым историям, где по ходу написания читателям предлагается сделать выбор (какое действие сделать, что сказать, куда пойти, итд). Голосование закрывается, автор дописывает следующую часть итд. Разработчики уже давно внедрили AI-инструменты, которые помогают писателям экономить время, создавая краткие выжимки, хронологии, характеристики персонажей, потенциальные идеи развития.
Чтобы выполнять эти задачи эффективно, LLM должны действительно понимать длинную, порой запутанную историю, каждого персонажа и их мотивы на глубоком уровне. Однако на практике современные модели часто теряют ход сюжета, не могут понять мотивы персонажей и производят хлам, который полностью не соответствует намерениям автора — всё как раз таки из-за размеров историй: они очень объёмны, а модели недостаточно внимательны.
Ситуация выглядит прямо идеальной для того, чтобы взять и сделать бенчмарк. На основе выборки из дюжины очень длинных и сложных историй и уже готовых и проверенных тестов разработчики собрали тесты, основанные на сокращенных версиях этих историй. Для каждого теста они начинают с сокращенной версии, которая содержит только релевантную вопросу информацию. Это называется «0-token» (см. на картинке). Затем к этому тексту добавляется всё больше и больше истории, и релевантная информация является только частью более длинного повествования.
Моделям перед ответом на вопрос дают время порассуждать, и reasoning-модели тут существенно отрываются от обычных (сравните метрики между DSv3 и R1, или Claude 3.6 vs 3.7). А o1 чуть-чуть лучше Claude 3.7, начиная с 32 тысяч токенов контекста, и обе модели существенно лучше китайских.
Ну и вооот, Gemini-2.5 Pro стала новым топ-1, показав невероятные 90% правильных ответов при 120 тысячах нерелевантных токенов истории. До этого лучшей моделью на самом длинном контексте была GPT-4.5, набравшая 63.9%. Но ещё интереснее посмотреть, как скакнула метрика от Gemini-2.0 Pro к 2.5 (выделил на картинке, 37%->90%). Внимание, вопрос: как скакнёт GPT-4.5 (64%) при добавлении рассуждений (aka GPT-5)? 🤔
После выхода GPT-4.5 узнал о бенчмарке Fiction.LiveBench, где модель показала себя очень неплохо, авторы даже написали «GPT-4.5-preview is the best non-reasoning model». Я уж не стал вам в очередной раз рассказывать, что модель-то топ, вы и сами это знаете 😀
В чём суть бенчмарка? Сайт Fiction.Live посвящён длинным интерактивным текстовым историям, где по ходу написания читателям предлагается сделать выбор (какое действие сделать, что сказать, куда пойти, итд). Голосование закрывается, автор дописывает следующую часть итд. Разработчики уже давно внедрили AI-инструменты, которые помогают писателям экономить время, создавая краткие выжимки, хронологии, характеристики персонажей, потенциальные идеи развития.
Чтобы выполнять эти задачи эффективно, LLM должны действительно понимать длинную, порой запутанную историю, каждого персонажа и их мотивы на глубоком уровне. Однако на практике современные модели часто теряют ход сюжета, не могут понять мотивы персонажей и производят хлам, который полностью не соответствует намерениям автора — всё как раз таки из-за размеров историй: они очень объёмны, а модели недостаточно внимательны.
Ситуация выглядит прямо идеальной для того, чтобы взять и сделать бенчмарк. На основе выборки из дюжины очень длинных и сложных историй и уже готовых и проверенных тестов разработчики собрали тесты, основанные на сокращенных версиях этих историй. Для каждого теста они начинают с сокращенной версии, которая содержит только релевантную вопросу информацию. Это называется «0-token» (см. на картинке). Затем к этому тексту добавляется всё больше и больше истории, и релевантная информация является только частью более длинного повествования.
Моделям перед ответом на вопрос дают время порассуждать, и reasoning-модели тут существенно отрываются от обычных (сравните метрики между DSv3 и R1, или Claude 3.6 vs 3.7). А o1 чуть-чуть лучше Claude 3.7, начиная с 32 тысяч токенов контекста, и обе модели существенно лучше китайских.
Ну и вооот, Gemini-2.5 Pro стала новым топ-1, показав невероятные 90% правильных ответов при 120 тысячах нерелевантных токенов истории. До этого лучшей моделью на самом длинном контексте была GPT-4.5, набравшая 63.9%. Но ещё интереснее посмотреть, как скакнула метрика от Gemini-2.0 Pro к 2.5 (выделил на картинке, 37%->90%). Внимание, вопрос: как скакнёт GPT-4.5 (64%) при добавлении рассуждений (aka GPT-5)? 🤔
03/29/2025, 11:50
t.me/seeallochnaya/2460
Попросил Gemini 2.5 прочитать этот документ на 150 страниц (~45'000 токенов) и сделать саммари в виде последовательных шагов, а затем перевести на русский. Вот результат:
1. Возможности моделей предсказуемо и значительно улучшаются при увеличении "эффективных вычислений" (сырая вычислительная мощность, алгоритмическая эффективность, данные, системы вокруг них).
2. Такое масштабирование привело ИИ от уровня ~дошкольника (GPT-2) до уровня ~умного старшеклассника или студента первых курсов (GPT-4) всего за 4 года.
3. Продолжение этого тренда делает достижение AGI — ИИ, способного выполнять когнитивную работу уровня эксперта, например, проведение исследований в области ИИ — вероятным к 2027 году.
4. AGI вряд ли станет конечной точкой; системы AGI смогут автоматизировать сами исследования в области ИИ, вызвав рекурсивное самоулучшение или "взрыв интеллекта".
5. Этот взрыв интеллекта может сжать десятилетия алгоритмического прогресса, возможно, в один год, быстро приведя AGI к значительно превосходящему человека ИИ (Сверхинтеллекту, ASI).
6. Создание этих передовых систем требует беспрецедентной промышленной мобилизации для вычислительной инфраструктуры (GPU, энергия, дата-центры), стоимостью в триллионы долларов.
7. Это масштабное техно-капитальное строительство уже начинается, движимое ожидаемой экономической отдачей и интенсивной конкуренцией.
8. Однако текущие методы обеспечения безопасности в ведущих лабораториях ИИ совершенно недостаточны для защиты критически важных секретов (алгоритмов и весов моделей), необходимых для создания AGI.
9. Эти важные секреты могут быть легко украдены государствами-противниками, такими как Китай, что потенциально сведет на нет лидерство США/Запада в гонке за AGI.
11. Одновременно, надежное управление системами ИИ, значительно превосходящими человека по интеллекту (супералаймент), является нерешенной технической проблемой; текущие методы, вероятно, не будут масштабироваться и работать для будущих систем.
12. Неспособность решить проблему супералаймента до или во время быстрого взрыва интеллекта может привести к катастрофическим последствиям, поскольку мы будем развертывать все более мощные, плохо контролируемые и непонятные нам системы.
13. Сверхинтеллект предоставит решающее военное и экономическое преимущество, превращая гонку за AGI в геополитическое соревнование с высокими ставками, в первую очередь между США и Китаем.
14. США и их союзники должны сохранять лидерство в этой гонке, чтобы обеспечить выживание либеральной демократии и создать необходимый запас прочности для решения проблем супералаймента. Согласно автору, если авторитарная держава (например, Китай) первой достигнет ASI, она сможет навязать свои недемократические ценности всем странам, навсегда подавить свободы и исключить возможность процветания демократических систем. Лидерство США/союзников рассматривается как необходимое условие для предотвращения такого исхода, сохранения условий для свободы и плюрализма, а также для получения "запаса прочности" для безопасного решения проблемы алаймента без давления гонки "на опережение".
15. Сочетание чрезвычайной мощи, катастрофических рисков (ошибки алаймента, злоупотребление системами) и критической важности для национальной безопасности означает, что частные стартапы в одиночку не могут ответственно управлять разработкой сверхинтеллекта.
16. Поэтому правительство США неизбежно будет глубоко вовлечено, что, вероятно, приведет к созданию национальной программы по AGI ("Проекта") для управления безопасностью, рисками и геополитическими ставками, по аналогии с Манхэттенским проектом.
1. Возможности моделей предсказуемо и значительно улучшаются при увеличении "эффективных вычислений" (сырая вычислительная мощность, алгоритмическая эффективность, данные, системы вокруг них).
2. Такое масштабирование привело ИИ от уровня ~дошкольника (GPT-2) до уровня ~умного старшеклассника или студента первых курсов (GPT-4) всего за 4 года.
3. Продолжение этого тренда делает достижение AGI — ИИ, способного выполнять когнитивную работу уровня эксперта, например, проведение исследований в области ИИ — вероятным к 2027 году.
4. AGI вряд ли станет конечной точкой; системы AGI смогут автоматизировать сами исследования в области ИИ, вызвав рекурсивное самоулучшение или "взрыв интеллекта".
5. Этот взрыв интеллекта может сжать десятилетия алгоритмического прогресса, возможно, в один год, быстро приведя AGI к значительно превосходящему человека ИИ (Сверхинтеллекту, ASI).
6. Создание этих передовых систем требует беспрецедентной промышленной мобилизации для вычислительной инфраструктуры (GPU, энергия, дата-центры), стоимостью в триллионы долларов.
7. Это масштабное техно-капитальное строительство уже начинается, движимое ожидаемой экономической отдачей и интенсивной конкуренцией.
8. Однако текущие методы обеспечения безопасности в ведущих лабораториях ИИ совершенно недостаточны для защиты критически важных секретов (алгоритмов и весов моделей), необходимых для создания AGI.
9. Эти важные секреты могут быть легко украдены государствами-противниками, такими как Китай, что потенциально сведет на нет лидерство США/Запада в гонке за AGI.
11. Одновременно, надежное управление системами ИИ, значительно превосходящими человека по интеллекту (супералаймент), является нерешенной технической проблемой; текущие методы, вероятно, не будут масштабироваться и работать для будущих систем.
12. Неспособность решить проблему супералаймента до или во время быстрого взрыва интеллекта может привести к катастрофическим последствиям, поскольку мы будем развертывать все более мощные, плохо контролируемые и непонятные нам системы.
13. Сверхинтеллект предоставит решающее военное и экономическое преимущество, превращая гонку за AGI в геополитическое соревнование с высокими ставками, в первую очередь между США и Китаем.
14. США и их союзники должны сохранять лидерство в этой гонке, чтобы обеспечить выживание либеральной демократии и создать необходимый запас прочности для решения проблем супералаймента. Согласно автору, если авторитарная держава (например, Китай) первой достигнет ASI, она сможет навязать свои недемократические ценности всем странам, навсегда подавить свободы и исключить возможность процветания демократических систем. Лидерство США/союзников рассматривается как необходимое условие для предотвращения такого исхода, сохранения условий для свободы и плюрализма, а также для получения "запаса прочности" для безопасного решения проблемы алаймента без давления гонки "на опережение".
15. Сочетание чрезвычайной мощи, катастрофических рисков (ошибки алаймента, злоупотребление системами) и критической важности для национальной безопасности означает, что частные стартапы в одиночку не могут ответственно управлять разработкой сверхинтеллекта.
16. Поэтому правительство США неизбежно будет глубоко вовлечено, что, вероятно, приведет к созданию национальной программы по AGI ("Проекта") для управления безопасностью, рисками и геополитическими ставками, по аналогии с Манхэттенским проектом.
03/28/2025, 22:52
t.me/seeallochnaya/2459
Федеральный судья в Калифорнии отклонил ходатайство музыкальных издателей в иске против компании Anthropic, в котором они требовали запретить использование принадлежащих им текстов песен для обучения чат-бота Claude. Судья Юми Ли заявила, что требование издателей было слишком широким, а они не смогли доказать, что действия Anthropic причинили им "непоправимый вред".
Иск был подан в 2023 году издателями UMG, Concord и ABKCO, которые утверждали, что Anthropic без разрешения использовала тексты как минимум 500 песен таких исполнителей, как Бейонсе, The Rolling Stones и The Beach Boys для обучения Claude.
Судья отвергла аргумент издателей о том, что использование Anthropic текстов песен нанесло непоправимый ущерб рынку лицензирования, отметив: "Издатели по сути просят суд определить контуры рынка лицензирования для обучения AI, тогда как пороговый вопрос о добросовестном использовании остается нерешенным".
Представитель Anthropic выразил удовлетворение тем, что суд не удовлетворил "деструктивный и аморфный запрос" издателей, в то время как сами издатели заявили, что "по-прежнему очень уверены в своем деле против Anthropic в более широком смысле".
https://www.reuters.com/legal/anthropic-wins-early-round-music-publishers-ai-copyright-case-2025-03-26/
Иск был подан в 2023 году издателями UMG, Concord и ABKCO, которые утверждали, что Anthropic без разрешения использовала тексты как минимум 500 песен таких исполнителей, как Бейонсе, The Rolling Stones и The Beach Boys для обучения Claude.
Судья отвергла аргумент издателей о том, что использование Anthropic текстов песен нанесло непоправимый ущерб рынку лицензирования, отметив: "Издатели по сути просят суд определить контуры рынка лицензирования для обучения AI, тогда как пороговый вопрос о добросовестном использовании остается нерешенным".
Представитель Anthropic выразил удовлетворение тем, что суд не удовлетворил "деструктивный и аморфный запрос" издателей, в то время как сами издатели заявили, что "по-прежнему очень уверены в своем деле против Anthropic в более широком смысле".
https://www.reuters.com/legal/anthropic-wins-early-round-music-publishers-ai-copyright-case-2025-03-26/
03/26/2025, 23:28
t.me/seeallochnaya/2457
Обновился также LiveBench.
03/26/2025, 18:59
t.me/seeallochnaya/2456
03/25/2025, 21:47
t.me/seeallochnaya/2455
03/25/2025, 21:47
t.me/seeallochnaya/2454
ChatGPT сегодня обновится:
– gpt4o теперь умеет редактировать картинки, ака текстовый фотошоп (лицо adobe представили)
– умеет генерировать картинки намного лучше чем Dalle, с нормальным текстом и тп
– ChatGPT теперь может генерировать видео через Sora, не ходя на отдельный сайт (3 видео в сутки бесплатно)
– Можно удалять фон у картинок (привет нормальные png)
– Работает довольно медленно, сделал видео как оно работает
– gpt4o теперь умеет редактировать картинки, ака текстовый фотошоп (лицо adobe представили)
– умеет генерировать картинки намного лучше чем Dalle, с нормальным текстом и тп
– ChatGPT теперь может генерировать видео через Sora, не ходя на отдельный сайт (3 видео в сутки бесплатно)
– Можно удалять фон у картинок (привет нормальные png)
– Работает довольно медленно, сделал видео как оно работает
03/25/2025, 21:47
t.me/seeallochnaya/2453
03/25/2025, 20:47
t.me/seeallochnaya/2450
03/25/2025, 20:47
t.me/seeallochnaya/2452
03/25/2025, 20:47
t.me/seeallochnaya/2451
03/25/2025, 20:47
t.me/seeallochnaya/2449
ИИИИИ вот спустя 2 года и 4 месяца произошло то, чего боялся Sam Altman: Google удалось обойти конкурентов на повороте и попасть на первое место по качеству моделей в LLM-гонке, без звёздочек, без оговорок и прочего. В обход публичного релиза Gemini 2.0 Pro (она никогда не была доступна без ограничнией, только урезанный бесплатный тир, на котором даже бенчмарки не погонять) вышла Gemini 2.5 Pro — несмотря на отсутствие "thinking" в названии модель умеет рассуждать. По сути то, что OpenAI хотят сделать в GPT-5: взять большую базовую модель нового поколения (2.0 или GPT-4.5) и поверх неё обучить рассуждениям.
На арене по всем языкам и почти по всем срезам модель впереди, зачастую — с отрывом.
Полный блогпост
И вот тут на ютуб-канале 6 коротких роликов с демонстрациями возможностей в программировании.
Деврел Google обещает, что эта модель будет доступна публично широкому количеству разработчиков, и лимиты использования тоже расширят (не 50 запросов в сутки).
Ждом ответ OpenAI 🧃
Пробовать тут: aistudio.google.com (селектор моделей справа)
На арене по всем языкам и почти по всем срезам модель впереди, зачастую — с отрывом.
Полный блогпост
И вот тут на ютуб-канале 6 коротких роликов с демонстрациями возможностей в программировании.
Деврел Google обещает, что эта модель будет доступна публично широкому количеству разработчиков, и лимиты использования тоже расширят (не 50 запросов в сутки).
Ждом ответ OpenAI 🧃
Пробовать тут: aistudio.google.com (селектор моделей справа)
03/25/2025, 20:47
t.me/seeallochnaya/2447
03/25/2025, 20:47
t.me/seeallochnaya/2448
Вечером смотрим презентацию OpenAI по поводу омнимодальной модели (скорее всего. А может и DALLE 4, но почти наверняка нет).
03/25/2025, 19:02
t.me/seeallochnaya/2446
66666666666666666
03/23/2025, 23:20
t.me/seeallochnaya/2445
Я часто хвалю o1 Pro, и это правда моя любимая модель которую я использую каждый день по многу раз с момента ее релиза – для вопросов здоровья, шитпостинга, исторических справок, технических советов, проверки фактов, помощи в чтении pdf-ресечей и тп и тд – раньше она была исключительно частью подписки ChatGPT Pro, и недавно ее добавили за какие-то 👁👁👁👁👁 деньги в OpenAI API
И теперь, наконец-то, начали появляться первые данные по бенчмаркам o1 Pro, чтобы оценить насколько хорошо она работает – например, бенчмарк вдохновленный игрой NYT Connections (это где модели разбирают массив из 16 слов по 4 общим категориям, категории нужно придумать самим), o1 Pro проходит успешно почти на 82% - это рекорд по бенчмарку
Я не удивлен, честно - за все месяцы что я использую ее, она ошиблась всего пару раз, и всегда исправляла себя при просьбе «перепроверить ответ»
Еще это первая модель, которая открыто говорит мне, что я в чем-то не прав, если я где-то ошибаюсь
Если вы из тех, кому некуда девать деньги, то вот ее страница в API OpenAI, но я все же советую использовать ее в ChatGPT Pro, там нет лимитов
Из всех минусов только один - думает она пару минут перед ответом, что в целом, уже не так критично, так как я в нее что-то отправляю и ухожу делать параллельно задачи
И теперь, наконец-то, начали появляться первые данные по бенчмаркам o1 Pro, чтобы оценить насколько хорошо она работает – например, бенчмарк вдохновленный игрой NYT Connections (это где модели разбирают массив из 16 слов по 4 общим категориям, категории нужно придумать самим), o1 Pro проходит успешно почти на 82% - это рекорд по бенчмарку
Я не удивлен, честно - за все месяцы что я использую ее, она ошиблась всего пару раз, и всегда исправляла себя при просьбе «перепроверить ответ»
Еще это первая модель, которая открыто говорит мне, что я в чем-то не прав, если я где-то ошибаюсь
Если вы из тех, кому некуда девать деньги, то вот ее страница в API OpenAI, но я все же советую использовать ее в ChatGPT Pro, там нет лимитов
Из всех минусов только один - думает она пару минут перед ответом, что в целом, уже не так критично, так как я в нее что-то отправляю и ухожу делать параллельно задачи
03/23/2025, 23:18
t.me/seeallochnaya/2444
В веб-версию Claude наконец-то добавили поиск по интернету! Пока только в США, но скоро дойдёт до всех — даже до бесплатных юзеров.
Включается в настройках в feature preview.
Включается в настройках в feature preview.
03/20/2025, 19:55
t.me/seeallochnaya/2443
o1-pro появилась в API OpenAI, но на бенчмарках мы, видимо, её почти не будем видеть — цена просто конская, ещё дороже, чем GPT-4.5: $150 за миллион токенов на вход и ШЕСТЬСОТ ДОЛЛАРОВ ЗА МИЛЛИОН НА ВЫХОД
(но система — не модель — реально стоящая, за неё Pro подписку и плачу)
Страница модели
Пошёл брать кредит чтобы прогнать на «Быках и коровах» 😀
UPD: Доступна всем пяти тирам разработчиков, то есть любому аккаунту, который хоть раз пополнили хотя бы на доллар.
UPD 2: цены для сравнения:
— GPT-4.5: $75/$150
— GPT-4o: $2.5/$10
— DeepSeek R1: $0.55/$2.19
(но система — не модель — реально стоящая, за неё Pro подписку и плачу)
Страница модели
Пошёл брать кредит чтобы прогнать на «Быках и коровах» 😀
UPD: Доступна всем пяти тирам разработчиков, то есть любому аккаунту, который хоть раз пополнили хотя бы на доллар.
UPD 2: цены для сравнения:
— GPT-4.5: $75/$150
— GPT-4o: $2.5/$10
— DeepSeek R1: $0.55/$2.19
03/20/2025, 01:22
t.me/seeallochnaya/2442
Если вдруг пропустили стрим, то появилась его запись.
Обсуждение, как мне кажется, вышло достаточно интересным (особенно если промотать сразу минуту на пятнадцатую) — и на самом стриме зрителей было много до конца, и на записи уже много просмотров, и @itbeard успел посмотреть и высказаться (в основном, положительно).
В общем, если не видели, то очень рекомендую.
Обсуждение, как мне кажется, вышло достаточно интересным (особенно если промотать сразу минуту на пятнадцатую) — и на самом стриме зрителей было много до конца, и на записи уже много просмотров, и @itbeard успел посмотреть и высказаться (в основном, положительно).
В общем, если не видели, то очень рекомендую.
03/18/2025, 20:11
t.me/seeallochnaya/2441
03/17/2025, 21:35
t.me/seeallochnaya/2438
03/17/2025, 21:35
t.me/seeallochnaya/2435
03/17/2025, 21:35
t.me/seeallochnaya/2436
03/17/2025, 21:35
t.me/seeallochnaya/2440
03/17/2025, 21:35
t.me/seeallochnaya/2439
Ещё несколько интересных примеров из интернетов (почти всё взял из этого треда), где показываются разные способы применения нативной генерации изображений.
И это Flash-модель, самая малая в поколении!
Удивлён, что Google (пока) не блокирует запросы на удаление водяных знаков с изображений (две последние картинки, источник).
Действительно открывает новые горизонты использования, даже пятиминутным задачкам в фотошопе учиться не надо теперь.
И это Flash-модель, самая малая в поколении!
Удивлён, что Google (пока) не блокирует запросы на удаление водяных знаков с изображений (две последние картинки, источник).
Действительно открывает новые горизонты использования, даже пятиминутным задачкам в фотошопе учиться не надо теперь.
03/17/2025, 21:35
t.me/seeallochnaya/2433
03/17/2025, 21:35
t.me/seeallochnaya/2437
03/17/2025, 21:35
t.me/seeallochnaya/2434
Из документа OpenAI для Управления по технологиям и науке, часть касательно копирайта:
Применение доктрины добросовестного использования [данных] к ИИ — это не только вопрос американской конкурентоспособности, но и вопрос национальной безопасности. Стремительный прогресс, наблюдаемый у Китайской DeepSeek, среди других недавних разработок, показывает, что лидерство Америки в области ИИ далеко не гарантировано. Учитывая согласованную государственную поддержку критически важных отраслей и инфраструктурных проектов, нет никаких сомнений в том, что разработчики ИИ из Китая получат неограниченный доступ к данным, улучшающим их модели, включая данные, защищенные авторским правом. Если разработчики из Китая получат неограниченный доступ к данным, а американские компании останутся без доступа к добросовестному использованию закопирайченных данных, гонка за ИИ фактически окончена.
Напишите, пожалуйста, в комментариях ёмкий ответ на вопрос: как вы понимаете этот абзац, и/или какое предложение тут считаете главным? (да, как в школе)
Применение доктрины добросовестного использования [данных] к ИИ — это не только вопрос американской конкурентоспособности, но и вопрос национальной безопасности. Стремительный прогресс, наблюдаемый у Китайской DeepSeek, среди других недавних разработок, показывает, что лидерство Америки в области ИИ далеко не гарантировано. Учитывая согласованную государственную поддержку критически важных отраслей и инфраструктурных проектов, нет никаких сомнений в том, что разработчики ИИ из Китая получат неограниченный доступ к данным, улучшающим их модели, включая данные, защищенные авторским правом. Если разработчики из Китая получат неограниченный доступ к данным, а американские компании останутся без доступа к добросовестному использованию закопирайченных данных, гонка за ИИ фактически окончена.
Напишите, пожалуйста, в комментариях ёмкий ответ на вопрос: как вы понимаете этот абзац, и/или какое предложение тут считаете главным? (да, как в школе)
03/15/2025, 21:39
t.me/seeallochnaya/2431
Из документа OpenAI для Управления по технологиям и науке, часть касательно копирайта:
Применение доктрины добросовестного использования [данных] к ИИ — это не только вопрос американской конкурентоспособности, но и вопрос национальной безопасности. Стремительный прогресс, наблюдаемый у Китайской DeepSeek, среди других недавних разработок, показывает, что лидерство Америки в области ИИ далеко не гарантировано. Учитывая согласованную государственную поддержку критически важных отраслей и инфраструктурных проектов, нет никаких сомнений в том, что разработчики ИИ из Китая получат неограниченный доступ к данным, улучшающим их модели, включая данные, защищенные авторским правом. Если разработчики из Китая получат неограниченный доступ к данным, а американские компании останутся без доступа к добросовестному использованию, гонка за ИИ фактически окончена.
Напишите, пожалуйста, в комментариях ёмкий ответ на вопрос: как вы понимаете этот абзац, и/или какое предложение тут считаете главным? (да, как в школе)
Применение доктрины добросовестного использования [данных] к ИИ — это не только вопрос американской конкурентоспособности, но и вопрос национальной безопасности. Стремительный прогресс, наблюдаемый у Китайской DeepSeek, среди других недавних разработок, показывает, что лидерство Америки в области ИИ далеко не гарантировано. Учитывая согласованную государственную поддержку критически важных отраслей и инфраструктурных проектов, нет никаких сомнений в том, что разработчики ИИ из Китая получат неограниченный доступ к данным, улучшающим их модели, включая данные, защищенные авторским правом. Если разработчики из Китая получат неограниченный доступ к данным, а американские компании останутся без доступа к добросовестному использованию, гонка за ИИ фактически окончена.
Напишите, пожалуйста, в комментариях ёмкий ответ на вопрос: как вы понимаете этот абзац, и/или какое предложение тут считаете главным? (да, как в школе)
03/15/2025, 21:39
t.me/seeallochnaya/2430
03/15/2025, 19:07
t.me/seeallochnaya/2429
Суд отклонил последнюю попытку Илона замедлить OpenAI
Перевод выборочных частей:
На прошлой неделе суд отклонил ходатайство Elon Musk о предварительном запрете на преобразование структуры OpenAI, посчитав, что он не «продемонстрировал вероятность успеха по существу» своих требований. Фактически, суд пошел ещё дальше, полностью отклонив несколько других его требований из дела.
Самый важный факт, который Elon постоянно искажает: некоммерческая организация никуда не денется.
Мы рады возможности ясно заявить в суде, что мы полностью намерены (1) сохранить некоммерческую организацию как важнейшую часть нашей работы для достижения миссии, и (2) убедиться, что она не просто поддерживается успешным бизнесом, но и находится в более сильной позиции, чем когда-либо. Также важно отметить, что у нас уже много лет есть коммерческие дочерние компании — новая структура просто поможет поддерживать некоммерческую организацию ещё лучше.
Мы намерены усилить некоммерческую часть организации, чтобы она могла выполнять свою миссию в долгосрочной перспективе. Мы не продаем ее, мы удваиваем свою ставку на её работу. Она будет иметь значительную долю в нашей предлагаемой Public Benefit Corporation, что сделает ее одной из самых обеспеченных ресурсами некоммерческих организаций в истории.
В каком-то смысле Elon был прав, когда в 2017м году сказал, что нам нужно изменить структуру OpenAI. Он был также прав, когда учредил свою собственную компанию, xAI, как Public Benefit Corporation. Но он не прав, когда дело доходит до этого безосновательного, цинично корыстного иска, ложных обвинений, которые его подкрепляют, и других мелких тактик, таких как так называемая «ставка на покупку OpenAI». Суд справедливо рассмотрел эту последнюю попытку, и мы уверены, что он продолжит это делать.
Перевод выборочных частей:
На прошлой неделе суд отклонил ходатайство Elon Musk о предварительном запрете на преобразование структуры OpenAI, посчитав, что он не «продемонстрировал вероятность успеха по существу» своих требований. Фактически, суд пошел ещё дальше, полностью отклонив несколько других его требований из дела.
Самый важный факт, который Elon постоянно искажает: некоммерческая организация никуда не денется.
Мы рады возможности ясно заявить в суде, что мы полностью намерены (1) сохранить некоммерческую организацию как важнейшую часть нашей работы для достижения миссии, и (2) убедиться, что она не просто поддерживается успешным бизнесом, но и находится в более сильной позиции, чем когда-либо. Также важно отметить, что у нас уже много лет есть коммерческие дочерние компании — новая структура просто поможет поддерживать некоммерческую организацию ещё лучше.
Мы намерены усилить некоммерческую часть организации, чтобы она могла выполнять свою миссию в долгосрочной перспективе. Мы не продаем ее, мы удваиваем свою ставку на её работу. Она будет иметь значительную долю в нашей предлагаемой Public Benefit Corporation, что сделает ее одной из самых обеспеченных ресурсами некоммерческих организаций в истории.
В каком-то смысле Elon был прав, когда в 2017м году сказал, что нам нужно изменить структуру OpenAI. Он был также прав, когда учредил свою собственную компанию, xAI, как Public Benefit Corporation. Но он не прав, когда дело доходит до этого безосновательного, цинично корыстного иска, ложных обвинений, которые его подкрепляют, и других мелких тактик, таких как так называемая «ставка на покупку OpenAI». Суд справедливо рассмотрел эту последнюю попытку, и мы уверены, что он продолжит это делать.
03/15/2025, 15:59
t.me/seeallochnaya/2428
Reinforcement Learning is all You Need
Обязательным пререквизитом будет прочтение вот этого (и 2 следующих) постов про тренировку LLM рассуждениям через игру Countdown. В конце разбора я написал, мол, жаль, что не попробовали научить на игре, а потом замерить прирост качества на математических задачах. Это помогло бы показать positive transfer, когда навыки рассуждений, выученные на простых математических играх, помогают решать более сложные и непохожие задачи.
Сегодня у нас даже не статья, а скорее мини-отчёт о проделанных экспериментах (там даже автор — один). Сделали ровно то, чего мне хотелось:
1) обучили маленькую модель Qwen-2.5-Instruct 3B рассуждать на Countdown
2) замерили приросты на 5 бенчмарках
На первой картинке вы можете видеть приросты (или их отсутствие) по сравнению с базовой моделью (не дообученной «рассуждать» на игре Countdown) и с той же самой моделью, но запромпченной рассуждать и использовать теги и (потому что именно такой промпт используется после обучения игре, и по-хорошему нужно понять, что прирост не от него).
На второй — приросты в отдельных категориях на BigBenchHard (стаарый бенчмарк, который уже почти не используют, но для 3B модельки и рассуждений кмк всё ещё подходит). Я выделил самые большие изменения, и они как раз в тех категориях, где рассуждения ожидаемо приносят приросты. И ещё раз: эти приросты получены не обучением на эти задачи, а на обучении рассуждать для победы в игре на счёт.
В отчёте есть ещё интересный мини-анализ того, как у модели проходит «Aha moment», когда в рассуждениях получаются фразы «Погодите, на самом деле...» (когда модель заметила ошибку в подходе).
В общем, позитив в том, что тренировка даже на игрушечных проблемах способствует прокачке рассуждений, применимых в других областях — хоть и не всех.
Обязательным пререквизитом будет прочтение вот этого (и 2 следующих) постов про тренировку LLM рассуждениям через игру Countdown. В конце разбора я написал, мол, жаль, что не попробовали научить на игре, а потом замерить прирост качества на математических задачах. Это помогло бы показать positive transfer, когда навыки рассуждений, выученные на простых математических играх, помогают решать более сложные и непохожие задачи.
Сегодня у нас даже не статья, а скорее мини-отчёт о проделанных экспериментах (там даже автор — один). Сделали ровно то, чего мне хотелось:
1) обучили маленькую модель Qwen-2.5-Instruct 3B рассуждать на Countdown
2) замерили приросты на 5 бенчмарках
На первой картинке вы можете видеть приросты (или их отсутствие) по сравнению с базовой моделью (не дообученной «рассуждать» на игре Countdown) и с той же самой моделью, но запромпченной рассуждать и использовать теги
На второй — приросты в отдельных категориях на BigBenchHard (стаарый бенчмарк, который уже почти не используют, но для 3B модельки и рассуждений кмк всё ещё подходит). Я выделил самые большие изменения, и они как раз в тех категориях, где рассуждения ожидаемо приносят приросты. И ещё раз: эти приросты получены не обучением на эти задачи, а на обучении рассуждать для победы в игре на счёт.
В отчёте есть ещё интересный мини-анализ того, как у модели проходит «Aha moment», когда в рассуждениях получаются фразы «Погодите, на самом деле...» (когда модель заметила ошибку в подходе).
В общем, позитив в том, что тренировка даже на игрушечных проблемах способствует прокачке рассуждений, применимых в других областях — хоть и не всех.
03/15/2025, 15:14
t.me/seeallochnaya/2426
03/15/2025, 15:14
t.me/seeallochnaya/2427
Начинаем через 15 минут
03/14/2025, 19:45
t.me/seeallochnaya/2425
Сегодня ровно 2 года с момента анонса и выхода GPT-4, и в честь этого мы с @cryptovalerii сделаем стрим. Будем обсуждать перспективы AI в программировании и не только, рассуждать о восприятии слов CEO Anthropic, якобы заявившего, что 90% кода уже через полгода будет писать AI, и прочие интересные штуки.
Стрим будет на канале Валеры, @cryptovalerii, приходите сегодня в 20:00 по МСК. На всё про всё уйдет примерно 40-50 минут, дольше задерживаться не планируем.
Стрим будет на канале Валеры, @cryptovalerii, приходите сегодня в 20:00 по МСК. На всё про всё уйдет примерно 40-50 минут, дольше задерживаться не планируем.
03/14/2025, 18:05
t.me/seeallochnaya/2424
Search results are limited to 100 messages.
Some features are available to premium users only.
You need to buy subscription to use them.
Similar message chronology:
Newest first
Similar messages not found
Messages
Find similar avatars
Channels 0
High
Title | Subscribers | |
|---|---|---|
No results match your search criteria
| ||