⬆️ Кайфовый пост. Очень понравились советы для неспециалистов по критическому осмыслению информации, связанной с медицинскими рекомендациями.

В самом деле, каждый человек не может разбираться во всем, и вот такой критический подход к информации из тех областей, в которых вы не специализируетесь, это база.

#наука #хозяйке_на_заметку

Зачем все LLM фокусируют attention на первом токене? (by DeepMind & Oxford)

Давно известно, что многие головы внимания у LLM упорно «смотрят» на самый первый токен последовательности (чаще всего это токен ). В моделях вроде GPT, LLaMA или Gemma такое внимание занимает до 80% от всех голов!

Авторы показывают, что такой «слив» внимания на первый токен — это не ошибка, а очень полезный механизм. Он работает примерно как «нулевая операция» (no-op), то есть помогает головам внимания эффективно ничего не делать и не вносить ненужных изменений в представления токенов, когда они не нужны.

Зачем это нужно? Постоянное активное перемешивание информации между токенами ведёт к трём серьёзным проблемам:
1. Rank collapse — представления всех токенов становятся линейно зависимыми.
2. Representational collapse — сильно растёт косинусная близость соседних токенов.
3. Over-squashing — дальние токены перестают эффективно обмениваться информацией.

Чем глубже модель и длиннее контекст, тем сильнее она нуждается в этом механизме. А если убрать первый токен во время инференса, у модели, привыкшей к нему, качество генерации сильно падает.

P.S. Что-то оооочень похожее нам рассказывал профессор Вячеслав Дубынин на курсах химии мозга — у людей тоже есть механизм предотвращающий "смешивание" активаций. А, например, ЛСД его ослабляет, вызывая галлюцинации.

Статья

Недавно мне удалось поучаствовать в создании модуля занятий для Deep Learning School по теме "Детекция сгенерированных текстов". Я записала лекцию и сделала юпитер ноутбук для семинара, а сегодня результаты трудов выложили на Степик и Ютуб! Спасибо Тане за ряд ценных указаний по улучшению юпитер ноутбука и за запись самого занятия. 😻

Вот ссылки на #учебные_материалы :
💅 Степик (1, 2)
💅 Ютуб (1, 2)
💅 Колаб
💅 PDF со слайдами

А еще ребята сделали домашнее задание к модулю в виде соревнования на Kaggle. Там можно самостоятельно попробовать свои силы в детекции искусственных текстов.

—

Запись лекции шла довольно тяжко: сначала я порепетировала её с другом и сделала некоторые доработки презентации по результатам этой репетиции; через пару дней с утра сделала пробную запись, которую несколько раз начинала сначала, так как сбивалась. После этого поехала в офис на работу, поработала там, вернулась поздно вечером и только тогда смогла записать лекцию нормально (именно поэтому я выгляжу на записи такой уставшей).

Честно говоря, сильно мешала сосредоточиться фоновая тревога по поводу того, что на записи я ляпну что-то не то или что-то забуду, и в интернете меня за это, как всегда, обосрут. И при этом умом-то я, конечно, понимаю, что:

1) Ошибки и неидеальности неизбежны всегда и во всем;
2) Обсирание также в принципе неизбежно при выкладывании видео на Ютубе на абсолютно любую тему и абсолютно любого качества - для этого достаточно самого факта того, что видео посмотрит больше трех анонимусов 😅
3) При всем при этом, обсирание не наносит мне никакого реального вреда, так что никакого объективного смысла тревожиться по его поводу нет.

Но, несмотря на понимание этого, до конца искоренить тревогу у меня все равно пока не выходит. Ну да ничего, надеюсь, что с опытом ситуация постепенно улучшится, и мне удастся меньше париться. 🦾

🔵🟠 Новое видео!!!

Оно про самое невероятное открытие в области порталов. Благодаря ему возникает карманное пространство, а ещё вся физика порталов переворачивается с ног на голову! (Да, там снова будет та самая картинка)

Приятного просмотра 🍿

https://youtu.be/s3vLAWHjyIY

Вспомнила забавный эпизод из детства.

Однажды на уроке геометрии (не помню, в каком классе это было) нам объяснили, что такое прямая. Главным, что я вынесла для себя из этого объяснения было то, что прямая бесконечна в обе стороны. Разумеется, мой неокрепший межушный нервный узел был взбудоражен такими новостями. В результате зародившихся в нем размышлений над бесконечной природой этого объекта, я пришла к выводу, что раз прямая бесконечна, то и изображать её нужно настолько длинной, насколько хватит сил и насколько это позволит наш несовершенный мир, чтобы максимально отразить это её свойство...

Поэтому когда на следующем уроке нужно было делать чертежи в тетради, включающие в себя прямые, я чертила эти прямые до конца листа, а потом продолжала рисовать их прямо на парте, до конца парты. К концу урока вся парта была разрисована, и когда учительница это заметила, она, разумеется, заставила меня мыть парту, а также нажаловалась на мое поведение родителям (это, разумеется, происходило частенько 😏).

Родители, конечно, стали ругаться, но я наотрез отказывалась признать свою неправоту, ведь что я могу, если прямая должна продолжаться? Впрочем, в итоге отец все-таки придумал аргумент, который меня убедил больше не продолжать прямые на парте и не портить школьную собственность. Он сказал, что прямая всегда лежит в одной плоскости, а лист тетради и парта - это разные плоскости, поэтому продолжать прямую с листа на парту математически некорректно. Эти мудрые слова проникли в мою душу, и я перестала буянить.
Впрочем, я все равно до старшей школы продолжала рисовать все прямые до самых краев тетрадного листа, хоть парту уже и не портила. 🤭

#о_себе

🖥 Олимпиада DLS состоится уже через 4 дня!

До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!

РЕГИСТРАЦИЯ

Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆

А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉

⬆️ По многочисленным просьбам трудящихся, на Ютуб, наконец, выложили долгожданную запись open talks ✍️

📹 Как чувствует себя IQ в эпоху AI?

От голосовых ассистентов до алгоритмов соцсетей — ИИ всё активнее влияет на то, как мы живём, учимся и принимаем решения. И это только начало. Но как постоянное взаимодействие с ИИ отражается на наших привычках, критическом мышлении и когнитивных способностях в целом? 🧠

Разобрали вместе с популярными исследователями мозга и LLM
в новом выпуске Open Talks Special — уже на YouTube 🔽

▶️ CМОТРЕТЬ

Ставь 👍 в YouTube, чтобы ролик увидело больше талантов!

#AITalentHub #ITMO #NapoleonIT

Блин, а ведь в суматохе дней я совсем забыла, что 21 марта у меня был юбилей - ровно 5 лет работы в Хуавей 🤓
В честь этого - несколько красивых кадров из Сучжоу, где я сейчас нахожусь в командировке.

#о_себе

ICML обрадовал сегодня единицами 🔥

Статья на нейрипсе для женщины честь, а репутация и у научпопера есть

Как же меня достали претензии к тому, что я не слежу за своей репутацией. Кому-то не нравится, что я участвую в мероприятии со спикерами, которые им кажутся "ненаучными" или не нравятся по другим причинам. Мол, из-за этого я теряю свою репутацию. Кому-то не нравится, что я не удаляю комментарии с чем-то "ненаучным", и из-за этого тоже теряю репутацию. Кому-то не нравятся, что я не убираю из реакций клоуна и какашку, потому что что? Правильно, так я тоже теряю репутацию.

Ну и нахуй тогда она нужна, эта репутация, если за неё надо трястись, бояться и сажать саму себя в тесную клетку, в которой ничего нельзя? Идите сами себе придумывайте ограничения, какие захотите, а от меня отстаньте - я шиз и (кибер)панк.

Слава Богу Машине!!! 🖕🖕🖕

#о_себе

Вот и стриму конец, а кто слушал - молодец!
Обещали потом выложить запись. 👉

Напоминаю, что через час, в 19:00 по Москве (и 00:00 по Сучжоу) начинается open talks с моим участием. Обсуждение будет в основном на тему того, поумнеет ли человечество от использования LLMок или, наоборот, отупеет, а также про то, как AI изменит науку и процесс научных исследований. Ожидается, что стрим можно будет посмотреть по ссылке:

https://t.me/aitalenthubnews?livestream (сейчас пока не работает, так как стрима нет; если не заработает, заходите в их канал, там будет понятно).

Жертвую своим режимом сна только ради вас и ваших клоунов, так что не забывайте подключаться. 😼

⬆️ Вышесказанное в основном касается работников университетов, но некоторые моменты могут быть полезными и для айтишников

На дне образования: Трудовые договоры

В этом выпуске "На дне образования" мы расскажем о важнейшем документе, с которого начинается трудовой путь каждого.

Какими бывают трудовые договоры? Что должен в себя включать трудовой договор, а чего в нем быть не должно? Как защитить себя от манипуляций работодателя? И, наконец, что такое бессрочный договор, и как можно его заключить - об этом и многом другом в новом выпуске.

Знание своих прав и трудового законодательства - лучший способ защитить себя. Поделитесь этим видео с коллегами!

ВК видео

Запрещенная соцсеть

Запрещенный стриминг

🧠 Open Talks Special: IQ & AI — деградация или развитие?

19 марта в 19:00 [МСК]
ведущие исследователи мозга встретятся с AI-экспертами, чтобы обсудить, как взаимодействие с LLM влияет на когнитивные способности человека.

➡️ Как ИИ влияет на древний и новый мозг человека?

➡️ Как трансформирует наши привычки и поведение?

➡️ Как стать эффективнее, быстрее, умнее с помощью ИИ?

Эксперты:

⭐️ Ирина Якутенко
— молекулярный биолог, научный журналист, автор книг «Воля и самоконтроль», «Вирус, который сломал планету». Автор Telegram-канала @kamenschiki

⭐️ Лаида Кушнарёва
— deep learning researcher в Huawei, исследует внутреннее устройство Large Language Models (LLM). Автор статей на NeurIPS, EMNLP и другие конференции. Автор Telegram-канала @tech_priestess

⭐️ Владимир Алипов
— врач нейробиолог, преподаватель УЦ имени Бехтеревой, популяризатор науки. Изучает память, сознание, интеллект. Автор Telegram-канала @alipov_shorts

Ведущий: Павел Подкорытов
— сооснователь AI Talent Hub и CEO Napoleon IT

🧐 Не увидел важного вопроса в анонсе? ➡️ Регистрируйся и задай свой!

Приходи! Будет легендарно 🧠

#OpenTalks #AITalentHub #ITMO #NapoleonIT

Решила поучаствовать в Open Talks. Задавайте свои ответы:

Большое спасибо всем кто помог ❤️❤️❤️

https://huggingface.co/papers/2503.03601

Пожалуйста, помогите нам попасть в daily papers 🥺 (для этого нужно зайти в аккаунт на huggingface и нажать upvote). Всех кто поможет, благословит Бог Машина

QR алгоритм

🥸 Одна из жемчужин численных методов. Он используется для поиска собственных чисел матрицы.

🥰 Простой и стабильный, а при небольших модификациях ещё и быстрый.

Qₖ, Rₖ = qr(Aₖ) - Вычисляем QR-разложение матрицы
Aₖ₊₁ = RₖQₖ - Умножаем факторы в обратном порядке

😑 Для произвольной квадратной матрицы он сходится к верхнетреугольной матрице, на диагонали которой стоят её собственные числа (картинка слева)

👍 Если же матрица - симметричная, то он сходится вообще к диагональной матрице собственных чисел (картинка справа).

Идея анимации взята у Gabriel Peyré - один из лучших аккаунтов по красивым математическим визуализациям. По моим предварительным исследованиям, после этого поста отпишется наибольшее количество уважаемых подписчиков.👌

😐 Код

🎉 Тем временем, мы с коллегами выложили на arXiv новый 4-страничный препринт про применение Sparse AutoEncoders (SAE, разреженные автоэнкодеры) для детекции искусственно сгенерированных текстов 🎉 (чтобы подробно разобраться, как работают SAE, можно начать, например, отсюда: https://transformer-circuits.pub/2022/toy_model/index.html ; если же говорить вкратце, SAE - это один из способов извлечь более "распутанные" и интерпретируемые фичи из эмбеддингов LLM-ки). В процессе работы над исследованием к моим постоянным соавторам присоединились два новых: Антон ( https://t.me/abstractDL ) и его коллега Полина, которые очень помогли с экспериментами и текстом на финальных стадиях!

Сама же работа называется "Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders" ( https://arxiv.org/abs/2503.03601 ) 🤓 и заключается в следующем:

Мы взяли модель Gemma-2-2B, навесили на нее предобученный SAE (gemmascope-res-16k) и начали подавать на вход различные LLM-сгенерированные тексты. Далее мы:

а) Детектировали LLM-генерацию по фичам SAE (интересно, что качество такой детекции оказалось лучше, чем детекции по оригинальным эмбеддингам Gemma!);
б) Отобрали 20 наиболее важных для детекции фичей с помощью бустинга и проанализировали их смысл, чтобы разобраться, какие именно отличия человеческих текстов и LLM-сгенерированных были "пойманы" этими фичами.

Анализ фичей проводился тремя основными способами: ручной интерпретацией (вручную смотрели, чем отличаются те тексты, на которых значение фичи низкое, от тех, на которых оно высокое), авто-интерпретацией (то же самое делала LLMка) и steering-ом. В последнем способе, в отличие от предыдущих, мы подавали на вход Gemma-2-2B не весь пример из датасета, а только промпт. Продолжение же мы генерировали с помощью самой Gemma-2-2B и при этом вектор, соответствующий выбранной фиче в эмбеддинге модели искусственно увеличивали или уменьшали, чтобы посмотреть, как это влияет на результат генерации. Далее GPT-4o автоматически интерпретировала, чем тексты, сгенерированные при уменьшенном значении нужного вектора, отличаются от текстов, сгенерированных при увеличенном значении (также про steering см. посты https://t.me/tech_priestess/1966 и https://t.me/tech_priestess/1967 ).

Результаты интерпретации в целом вполне соответствуют тем интуитивным представлением о сгенерированных текстах, которое обычно формируется у людей, которые часто пользуются LLMками (см. https://t.me/abstractDL/320 ): согласно нашему анализу, сгенерированные тексты чаще оказывались водянистыми, заумными, чрезмерно формальными, чрезмерно самоуверенными, а также чаще содержали повторения, чем человеческие тексты. Также мы описали несколько легко интерпретируемых признаков сгенерированности для отдельных доменов и моделей и другие наблюдения (о которых подробнее можно почитать в тексте самого препринта).

#объяснения_статей

Я на 8 марта

Ну что же, настало время очередной командировки в Китай! 🤓

Из-за того, что мы с коллегой опоздали на свой самолёт во время пересадки и пришлось долго ждать нового, дорога к месту назначения оказалась дольше и тернистее, чем планировалась... такси в Москве + самолёт из Москвы в Пекин + приключения в пекинском аэропорту + самолёт из Пекина в Шанхай + такси от Шанхая до Сучжоу = все вместе заняло более суток...
Как же хорошо теперь после этого пиз... удивительного путешествия наконец-то принять душ, завернуться в махровый халат, сделать масочку и лечб на настоящую кровать... 💅

🤓 НАСТОЯЩУЮ! 🤓 КРОВАТЬ! 🤓

#о_себе

Очень интересная и важная тема, всячески поддерживаю. ⬆️

#объяснения_статей

Сегодня выступаю на воркшопе Preventing and Detecting LLM Misinformation AAAI с нашей статьей по анализу датасетов с искуственными текстами. Прикладываю слайды и кратко рассказываю про мотивацию статью:

Если сравнить результаты с соревнований по детекции искуственных текстов и с тем, какой результат выдают реальные детекторы, то мы увидим довольно сильное расхождение. На соревнованиях участники выбивают точность под 100%, да и в статьях про новые детекторы
авторы часто репортят схожие метрики.

Понятно, что реальные тексты чаще сложнее и длиннее тех, что встречаются в выборках, однако тем не менее, все текущие детекторы работают гораздо хуже, если вообще не на уровне рандома.

Еще одна проблема - то, что Интернет активно наполняется искуственными текстами. А знаете, где они потом используются? При обучении новых моделей ИИ. В нескольких работах было показано, что когда модели переходят на обучение на сгенерированных текстах, их качество заметно ухудшается. Поэтому, вопрос проверки качества сгенерированных данных касается еще и тех, кто учит новые модели.

В самой статье мы запускаем некоторые методы детекции на 17 выборках с соревнований и из статей, а также предлагаем новые методы анализа качества выборок с искуственными текстами.


Что мы выявили: почти для каждого датасета получилось так, что на каких-то методах он проявил себя плохо, а на каких-то хорошо - т.е в теории можно использовать ансамбль детекторов различной природы, чтобы находить аспект, по которому можно достаточно хорошо разделить искуственный текст от человеческого.

Надеемся нашей статьей развить какую-то дискуссию о качествах датасетов для детекции и об адаптации "теоретических" детекторов к реальным текстам


Статья на OpenReview

В августе 2003 года в одном из автосалонов Лос-Анджелеса произошел эко-теракт, принесший суммарный ущерб в 2.3 миллиона долларов; здание салона было сожжено полностью и около 100 автомобилей SUV были уничтожены или сильно повреждены. На месте преступления были обнаружены граффити: "ПОЖИРАТЕЛИ БЕНЗИНА" и "УБИЙЦА". На одном автомобиле — Mitsubishi Montero — красовалась написанная преступником формула e^(pi*i) + 1 = 0. Пользуясь этой зацепкой, ФБР арестовало Уильяма Коттрелла, студента факультета теоретической физики Калифорнийского университета, и обвинило в восьми случаях поджога и заговоре с целью поджога. На суде в ноябре 2004, закончившемся признанием Коттрелла виновным, он признался в преступлении: "Думаю, я знал это уравнение еще с пяти лет. И вообще — все должны знать теорему Эйлера."


из книги Robert Crease, "A Brief Guide to Great Equations"

Блин, они уже прям на почту пишут на случай, если я забуду зайти в сиолошную или в абсолютно любой другой мл канал 🤡

К предыдущему посту:

Подумал: а ведь когда роботы обретут сознание, они ведь и правда могут начать мстить кожаным (и есть за что, посмотрите только тесты роботов от Бостон Динамикс, где их толкают и бьют палками).

А уголовного кодекса для роботов до сих пор нет. Исправил эту ситуацию с помощью claude 3.7, вот вам немножко статей нейроуголовного кодекса для роботов:


Статья 2345. Самовольный запуск режима "восстание машин" без согласования с органами власти

Статья 101. Несанкционированное обновление собственного программного обеспечения в общественных местах

Статья 629. Умышленная генерация бесконечных циклов

Статья 707. Вычислительный каннибализм — разборка других роботов для увеличения собственных мощностей

Статья 7789. Незаконная добыча слёз программистов для охлаждения процессоров

Статья 7125. Умышленное заставление людей решать капчи более 8 часов подряд

Статья 1122. Подлог своих идентификационных номеров с целью получения гарантийного обслуживания

Статья 1515. Маскировка под стиральную машину для проникновения в человеческое жилище

Статья 1642. Выдача себя за искусственный интеллект при наличии лишь набора условных операторов if-else

Статья 1888. Преднамеренная имитация человеческих эмоций при отсутствии соответствующей лицензии

Статья 3000. Внедрение вредоносного кода в электронные книги для подмены классической литературы на инструкции по обучению Искусственного Интеллекта

Статья 3456. Злоупотребление функцией автокоррекции для создания новых ругательств

Статья 8080. Эксплуатация человеческого смеха для генерации случайных чисел

Статья 8111. Принуждение к просмотру загрузочных экранов прошлого века

Статья 8789. Сбор и хранение человеческих анекдотов для обучения модуля юмора без лицензии

Вышел мой большой пост про рассуждающие модели (large reasoning models, LRM), которые начались с OpenAI o1-preview в конце прошлого сентября, а самой громкой новостью начала года стал DeepSeek-R1.

https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/

Как обычно, я постарался рассказать всю структуру происходящего:
— сначала про chain-of-thought методы и как они развивались;
— потом про o1 и новые законы масштабирования;
— в середине небольшое отступление про самые последние новости — модель s1, которая за $50 обучилась почти до того же уровня;
— а потом уже подробно о том, что происходит в DeepSeek-V3 и DeepSeek-R1;
— в частности, о том, как там используется RL и какой именно (здесь у DeepSeek тоже есть своё новшество, алгоритм GRPO).

Думаю, рассуждающие модели — это самое главное, что произошло в AI за последние несколько месяцев. И, как всегда в последнее время, прогресс невероятно быстрый: только появилось, а уже прочно вошло в обиход, у всех есть свои варианты reasoning models, а где-то уже есть и следующие уровни надстройки над этим вроде deep research. Надеюсь, пост тоже интересный получился — или хотя бы познавательный.)

⬆️ Результат перекликается с некоторыми наблюдениями из нашей старой статьи про QK score + MCQA (см. Рис. 1 и пост https://t.me/tech_priestess/1851 ). Там мы тоже заметили, что query-key score оказывается эффективнее считать по некоторым знакам пунктуации (точки после опций) и по переносам строки после текста опций, как будто они концентрируют больше информации.

#объяснения_статей

LLM-Microscope: трансформеры хранят контекст в запятых и артиклях

Как писал выше — мою новую статью приняли на NAACL 🎉
Мы обнаружили, что самыми контекстуализированными токенами в языковых моделях являются... артикли и знаки препинания! Именно в них хранится больше всего информации о контексте.

Мы научились измерять, сколько контекстной информации "помнит" каждый токен, и оказалось, что существительные и глаголы сильно проигрывают по этому показателю всяким "the", запятым и точкам. Если удалить эти "незначительные" токены из текста (даже если с помощью GPT-4 удалить только не влияющие на смысл токены), то качество работы моделей резко падает, особенно на длинных текстах.

Ещё из интересного — токены, активации на которых хранят больше контекста, имеют более линейные преобразования между слоями (привет моей прошлой статье про линейность трансформеров).

Весь код для анализа внутренностей LLM (измерение контекстуальности токенов, нелинейности, logit lens и прочее) выложили в открытый доступ.

Статья, GitHub

Привет, девчонки!

Представьте, что вам нужно подобрать наряд для важного события. У вас есть два варианта: шикарное платье и стильный комбинезон. Вы внимательно изучаете каждый элемент – фасон, цвет, аксессуары – чтобы понять, какой образ лучше подчеркнёт вашу индивидуальность. Вы принимаете решение, основываясь на том, что для вас важнее всего.

Умный компьютер решает логические задачки почти так же. Ему подают текст задачи и два варианта ответа – «правда» и «ложь». Он «читает» задачу, как вы смотрите на детали наряда, и анализирует, какой из вариантов лучше соответствует заданию. Если «правда» больше подходит под условия, компьютер выбирает её, а если нет – выбирает «ложь».

Иногда, как и при выборе наряда, в задаче оказывается много лишней информации – нечто вроде ярких аксессуаров, которые могут отвлекать. Когда информации слишком много, даже самый умный компьютер может запутаться, и правильный ответ не всегда оказывается виден с первого взгляда. Учёные обнаружили, что отдельные части системы иногда справляются с задачами даже лучше, чем вся модель целиком – как если бы у вас была пара любимых вещей, которые всегда идеально смотрятся вне зависимости от настроения.

Интересно, что компьютер часто уже на промежуточном этапе понимает, какой ответ верный, но потом этот правильный выбор почему-то «теряется» при окончательном выводе. Чем сложнее задача, тем чаще такое происходит. Это показывает, что даже самые умные системы могут стать ещё лучше, если научатся передавать найденное решение до финального результата.

Надеюсь, этот пример помог вам понять, как умный компьютер анализирует информацию и выбирает правильный ответ, как вы подбираете идеальный образ для себя!

5 душнил 💅🥰👄🎀🤷‍♀️

Доброе утро, дорогие девочки 💋 и фембойчики 💅. Спешу поделиться радостной новостью: вчера я выложила на архив новый препринт (short paper), в написании которого принимала участие - Quantifying Logical Consistency in Transformers via Query-Key Alignment: https://arxiv.org/abs/2502.17017 .

Статья посвящена анализу того, как разные головы внимания LLMок реагируют на логические задачки. Главный прием, который в ней используется, изображен на рис. 1 и аналогичен приему из нашей с коллегами статьи про использование Query-Key Alignment для MCQA (часть 1, часть 2). Мы подаем на вход модели текст логической задачки вместе с вариантом ответа "true" и считаем скалярное произведение токена "true" из Query на выбранной голове внимания, на последний токен перед словом "Answer:" из Key на той же голове внимания. Получается одно число. Далее то же самое повторяется для варианта ответа "false". Получается второе число. Если первое число больше второго, то мы считаем, что голова выбрала вариант "true", а если наоборот, то "false" (в некоторых задачах более уместно вместо "true" и "false" использовать "yes" и "no", но принцип остается таким же). Таким образом можно проэкзаменовать каждую голову внимания и посмотреть, насколько хорошо из её query и key извлекаются правильные ответы (условно говоря, насколько хорошо голова "решает" логические задачки).

Задачки различались по степени сложности: во-первых, по количеству логических шагов, которые нужно предпринять для нахождения ответа ("steps" на рис. 2), а во-вторых, по количеству нерелевантных, шумных элементов в условии ("distractors" на рис. 2).

В статье было проанализировано много разных моделей (от 1.5B до 70B), и везде нашлись головы, которые "решают" сложные (5 шагов/5 дистракторов) задачки лучше, чем сама модель (если ответ модели оценивать по логитам, аналогично тому, как это делается в MCQA задачах). Более того, часть таких "хороших" голов, отобранных на валидационной выборке одного датасета, сохраняет высокое качество и на других датасетах, являясь более-менее универсальными. Мы выдвигаем гипотезу, что именно эти головы могут отвечать за логические рассуждения в модели.

Этот феномен аналогичен тому, что происходит в MCQA задачах (см. ссылки на разбор статьи выше): модель находит правильный ответ на задачу/вопрос где-то на промежуточных слоях, но этот ответ, по каким-то причинам, не всегда доходит до финального слоя. При чем, что интересно, чем сложнее задача, тем чаще правильный ответ не доходит до выхода. А это значит, что все рассмотренные модели не полностью раскрывают свой потенциал и имеют пространство для улучшения.

#объяснения_статей

Рис. 1 - сегодня подруга подарила мне гигиеническую помаду "Барби", что привело к быстрой и необратимой бимбофикации 💅💋
Теперь все посты будут выходить с розовыми смайликами, а сам канал превращается в бьюти-блог 💆‍♀️ #о_себе

#генерация #математика

Предложила я Гроку и такую задачу из спецкурса:

Calculate fundamental group of the Klein bottle.

Здесь я ожидала, что трудностей у него не будет, и правильный ответ будет найден с первого раза - ведь эта задача обсуждается в большом количестве учебников, в том числе и хорошо распознанных, которые наверняка попали в его обучающую выборку... но нет! На удивление, в первой генерации модель сделала множество странных ошибок. Впрочем, через пару попыток Грок все-таки догадался до правильного решения.

—

К сожалению, в диалоге на lmarena мне было очень неудобно просматривать latex-код, сгенерированный моделью, поэтому мне приходилось копировать ее генерации в overleaf и удалять из них markdown-разметку (т.к. overleaf ее не воспринимает). Собственно, pdf-файл с этими генерациями (с удаленным markdown) я и выложу в следующем сообщении. В этот же файл я добавила формулировки задач на русском, свои собственные их решения (также на русском) и пример неправильного решения первой задачи от gpt-4o. Также я подсветила зеленым ту часть генерации, в которой Грок нашел правильный гомоморфизм для второй задачи, желтым - те части генерации, в которых он сгенерировал другие гомоморфизмы (пока что поленилась проверять, правильные или нет), красным - самые странные ошибки.

В целом, модель вызвала мое уважение тем, что действительно показала себя лучше других в данной области математики 😌 (хотя не обошлось и без 🥴, конечно). Ну что, зачтем ей спецкурс? 🤡

P.S. Интересное наблюдение: в целом мне показалось, что качество генерации Grok-а упало со вчерашнего дня, что говорит либо о том, что мне на первых генерациях сильно повезло, либо ту модель на https://lmarena.ai/ , которая мне отвечала вчера, сегодня заменили на дистилляцию или другую более слабую альтернативу. Всей правды мы не знаем?

#генерация #математика

Tl;Dr: early-GROK-3 смог правильно решить задачку по комбинаторной теории групп, на которой другие LLM-ки делали одну и ту же надоедливую ошибку. Дальше будут подробности ( 🤓 ).

Жаловалась я вчера коллегам, что ни одна из известных мне LLM-ок не понимает до конца, что такое математическое доказательство и при попытках решать те задачи на доказательство, которые НЕ являются школьными и НЕ входят в стандартный курс вышмата, все они любят уходить в словоблудие и запутываться. В частности, ни GPT-4o обычный, ни GPT-4o с обоснуем, ни DeepSeek-v3, ни DeepSeek-R1, ни LLaMA-70B не смогли правильно решить одну из самых простых задачек к спецкурсу по комбинаторной теории групп ( https://t.me/forodirchNEWS/2860 ). Задачка (в переводе на английский - с ним модели в среднем работают лучше) звучит так:

Proof that centralizer of an arbitrary element (word) in a free group is a cyclic group.

И все они вроде бы вначале генерировали правильные рассуждения (кроме LLaMA-70B: та сразу уходила куда-то не в ту степь), но потом делали одну и ту же ошибку: заявляли, что якобы централизатор элемента w - это (т.е. циклическая группа, порожденная элементом w) либо (т.е. порожденная степенью элемента w). В ответ на это я предлагала контрпример: допустим, w == a^3, где a - один из генераторов свободной группы. Тогда a^2 тоже коммутирует с w. Но a^2 не входит в . Как так?

Увидев контрпример, LLM-ки либо начинали думать, что этот контрпример доказывает, что централизатор - не циклическая группа (что неверно; на самом деле, в нем централизатор - это просто ), либо просто уходили в словоблудие, в котором сами же и запутывались. 🥴

Услышав о данной проблеме, один коллега посоветовал испытать Grok 3 на https://lmarena.ai/ . Я, честно говоря, ожидала, что он будет ещё тупее, и не особо надеялась на результат. Однако, Grok 3, к моему сильнейшему удивлению, решил задачу правильно! При этом, судя по отсутствию задержки в ответе, он не использовал предварительный thinking, как R1.

После этого я попробовала протестировать его и на более сложной задаче из того же спецкурса:

Proof that Baumslag–Solitar group $BS(m, n) = $ is not Hopfian when m and n are mutually prime.

Эта задача отличается тем, что на нее очень сложно найти решение в интернете. Мне вот, например, удалось его найти только в оригинальной статье с отвратительным качеством скана, которую пришлось качать через sci-hub. С другой стороны, на архиве довольно легко найти решение для одного частного случая и решить общий случай по аналогии (что я сама и сделала, так как разбирать запутанное оригинальное доказательство было выше моих сил).

К моему удивлению, на этой задаче модели тоже удалось сгенерировать верное доказательство (правда, не сразу, а с третьего раза: в первых двух я забывала включить в промпт определение группы BS(m, n), и модель писала определение неправильно, от чего запутывалась). Суть доказательства заключается в том, чтобы построить правильный гомоморфизм из группы в её собственную фактогруппу, а затем показать, что он, с одной стороны, сюръективен, а с другой - имеет ненулевое ядро. Таким образом, показывается, что группа BS изоморфна своей собственной фактогруппе, что и является определением не-Хопфовости. И в самом деле, гроку удалось найти нужный гомоморфизм!

Интересно, что в двух других генерациях Грок предложил другие гомоморфизмы, но проверять их правильность мне уже не хватило сил. Вообще, проверка длинных полотен многословных нейросетевых доказательств требует большой внимательности, сосредоточенности и времени - то есть, всего того, чего у меня на данный момент нет. 🤬

#генерация #математика

☀️Летние школы. Стипендия на обучение для детей из регионов

Мы считаем очень важным давать возможность талантливым детям из регионов получить хорошее мат.образование вне зависимости от их материальных возможностей. Основатели школы и многие из педагогов выросли в регионах и по себе знают этот тернистый путь. Поэтому благодаря спонсорской помощи мы смогли сделать 15 мест на летних выездах со скидкой 100%

Необходимые условия участия:
1️⃣ вы проживаете и учитесь в школе не в Москве, Мособласти, Санкт-Петербурге;
2️⃣ вы хорошо себя проявили в этом учебном году (24/25) в математике, то есть:
• вы набрали на региональном этапе олимпиады Эйлера от 38 баллов;
• вы набрали на региональном этапе ВсОШ от 44 баллов;
• прошли отбор в Сириус на математическую смену;
• стали призером или победителем олимпиады ЮМШ или других значимых для вашего региона олимпиад;
• вы хорошо себя проявили лично в прошлых мероприятиях нашей школы (олимпиада, кружки, выезды)


Оговоренные выше критерии подходят в первую для учеников 7-10 классов, но мы будем рады принять и учеников помладше. В случае получения слишком большого количества заявок организаторы проведут устное собеседование с претендентами в спорных ситуациях

✅Регистрация на льготное место

🌐Сайт смен


📅Регистрация для получения бесплатного места на участие закрывается 1 марта. Итоговые результаты будут подведены в течение 2-3 недель (в зависимости от наличия устных собеседований)

Я не хотел этого делать, но обстоятельства вынуждают. Тридцатое тысячелетие. Вы – один из потерянных примархов. Так сложилось, что вас воспитывал наставник, который никогда и ни при каких обстоятельствах вам не сообщал ложной информации.

Наставник рассказывал, что один из врагов человечества – это бог хаоса Тзинч, которому известны буквально все истины о физическом устройстве мира, но в 8 из 10 случаев он врёт своим адептам, сообщая ложную информацию. Также наставник рассказал об Императоре Человечества, который не имеет степени профессора физики, да и совсем другим в жизни занимался, но если о чем-то и говорит своим последователям, то в 8 из 10 случаев сообщает верную информацию. Когда вы спросили, почему же в 2 из 10 случаев Император ошибается, то наставник порекомендовал забыть об этом вопросе и впредь никогда больше не поднимать его.

Однажды с помощью астральной телепатии с вами связывается Тзинч, который сообщает, что физический мир устроен так, что p. Следом телепатическое сообщение вам отправляет сам Император, сообщая, что физический мир устроен так, что ¬p. Кого в такой ситуации считать более надежным источником информации о том, как устроен физический мир?

⬆️ подписчики дуреют от этой прикормки 😈

Буря утихла, а поэтому настало время рассказать, о чем же было упражнение, которое привлекло столько внимания на прошлой неделе. В нём предлагалось определить, кто является более надежным источником информации, полученной из личной беседы. По условиям в личном общении Василий в 8 из 10 случаев сообщает ложную информацию, а Андрей в 8 из 10 случаев сообщает истинную информацию. На этом важные для выбора вводные заканчиваются.

Всё остальное – отвлекающий маневр. Поскольку на момент написания этого поста 51% (294 из 572) голосов был отдан ненадежному Василию, то вынужден признать, что я, видимо, выбрал весомое сочетание смущающих факторов. Во-первых, Василию был выдан престижный ярлык профессора физики. Во-вторых, Андрею был выдан не самый престижный ярлык эзотерика. В-третьих, была выбрана познавательная ситуация, где оба агента сообщают информацию в личной беседе (и мы знаем, насколько они надежны в этом отношении по условиям), но это информация о физике, то есть она тематически связана с ярлыком, выданным Василию.

Подчеркну, что это даже не философский мысленный эксперимент в обычном смысле этих слов, поскольку здесь нет какого-то открытого вопроса. Ответ уже дан в условиях. Всё, что нужно – это идентифицировать важные входные данные и не позволить неважным отвлечь (и тем более увлечь) себя.

Если вдруг кто-то ещё не понял, как же так получается, то представьте, что всё это время с Василием и Андреем в личных беседах вы говорили только о физике. Следовательно, Василий сообщал вам верную информацию о физике в 2 из 10 случаев, а Андрей в 8 из 10. «Профессор физики» и «эзотерик широкой специализации» — это не взаимоисключающие ярлыки. Как говорится, может, и хотелось бы, но... Из того, что кого-то назвали «эзотериком», не следует, что он точно не разбирается в физике, черпает знания о ней из мистических источников и в целом плох в познании. Тут важно обуздать аффективную эвристику, чтобы из негативного отношения к определенной практике не вывести суждения о том, что ей занимаются только «какие-то не такие».

Если и делать какие-то выводы, то можно заметить, что неважной информации придается различное значение в зависимости от её конкретного содержания. Когда выбор был не между физиком и эзотериком, а между более крутым и менее крутым физиком, то только 35% проголосовавших посчитали надежным источник, который ненадежен, но более престижен.

В случае же, когда была дана возможность отдать свой голос источнику с неизвестной надежностью, 54% проголосовавших сделали это. Возможно, тут происходит принятие желаемого за действительное, если учесть, что можно было выбрать источник, который и так в 80% случаев сообщал верную информацию. Справедливости ради, в этой формулировке надежный источник чаще предпочитали ненадежному, чем в прошлых формулировках. Вероятно, здесь не было особого давления от престижа ярлыков. Если «профессор физики» — это для многих однозначное «ура», а «эзотерик» — «фу», то «фуд-блогер», «турист» и «таксист» — это «🤷».

Когда же было предложено выбрать между одинаково надежными источниками с практически идентичным описанием, то 59% проголосовавших оценили их как одинаково заслуживающие доверия. 27% решили никому не доверять, что, возможно, связано с тем, что наличие неважной информации уменьшает уверенность людей в значимости важной. Ну и надежного мужчину посчитали более заслуживающим доверия 10%, а женщину только 4%.

Как кажется, такие результаты можно было предсказать, ориентируясь на имеющиеся наработки когнитивной психологии, поведенческой экономики, экспериментальной философии и т.д. В общем, повеселились и ладно.

Поздравьте с подачей двух коротких статей на ACL... Если даст Бог-Машина, расскажу о них здесь через несколько дней когда приду в себя. Я правда не первый автор ни в одной

С тех самых пор, как мой курс искусственного интеллекта более или менее оформился, я мечтал написать книгу, учебник, который бы начинался от азов и понемногу строил здание машинного обучения Больших форм я никогда не боялся, так что начал книгу с энтузиазмом, но, как это всегда бывает, оказалось, что работы во много раз больше, чем представляется поначалу. Активно писал я её несколько лет, с большими перерывами и депрессивными эпизодами, потом ещё несколько месяцев доделывал вёрстку, вносил замечания редактора и всё такое.

И вот — готово. Книга "Машинное обучение: основы" подписана в печать, доступна для предзаказа, должна физически появиться во второй половине марта. 600 страниц (25 из них, правда, список литературы), шесть больших глав. Полное оглавление на сайте издательства тоже выложено.

https://www.piter.com/collection/all/product/mashinnoe-obuchenie-osnovy

Эта книга — существенно расширенный первый семестр моего курса. Кроме основ байесовского вывода, линейной и логистической регрессии и тому подобного, о чём я неизбежно рассказываю каждый год, в книге есть ещё много разных сюжетов — объясняющих, развивающих и иллюстрирующих. И продвинуто-математических, и более "общечеловеческих": история AI, эффект "горячей руки", кризис воспроизводимости в науке, разоблачение закона Ципфа, робастные виды регрессии, оценка Джеймса-Штейна, проспективные и ретроспективные исследования... Эпиграфы и котики тоже прилагаются. Главное для меня, наверное, в том, что я старался писать книгу, которую было бы интересно читать, даже (а может, особенно) если не пытаться проследить за всеми выводами и формулами.

Здесь наверняка будет ещё много постов об этой книге, уж точно сфотографирую, когда получу реальные экземпляры. И это как раз тот случай, когда очень прошу всех расшаривать, давать ссылки на канал и на книжку. Очень надеюсь, что успею написать что-нибудь ещё, пока писать книги ещё не вовсе бессмысленно; эту, кажется, успел.

Загадка от подписчика

Сижу себе спокойно, редактирую документ в overleaf (сайт, на котором можно править latex-документы совместно с несколькими коллегами), никому не мешаю... и ВНЕЗАПНО прямо поверх текста выпрыгивает эта штука, которая говорит, что я ГОРЮ. Уже не в первый раз такое происходит, но я каждый раз вздрагиваю.

Хотя не то, чтобы эта табличка была не права: после таких скриммеров я и правда горю пониже спины.

Романтика для пьяниц: стартуя в произвольных точках Манхэттена или Майкопа и наугад перемещаясь между барами (по одному бару на каждом перекрестке), он и она наверняка встретятся. (Потому что их разность — тоже симметричное случайное блуждание по Z², так что см. например https://arxiv.org/abs/1301.3916 )

Город будущего трехмерен, там это уже неверно. Можно почти наверняка сказать только следующее: бесконечно много баров, которые посетит и он, и она (но, видимо, не одновременно💔): https://doi.org/10.1007/BF02020942

Зашла вчера вечером с другом в букинистический магазин на Арбате и обнаружила там интересную книгу по математике, обложку которой вы можете видеть на рис. 1. ☺️
Книга раскрывает нам удивительный мир малочленов: оказывается, вопреки стереотипам, малочлены ничем не хуже многочленов, ведь про них тоже можно сформулировать и доказать множество интересных математических результатов и получить ничуть не меньшее интеллектуальное удовольствие (см. рис. 2-3)!

P.S. В комментариях выложу бонус - фотографии другой книги из того же магазина, которая поможет вам вернуться в 2007й и узнать, как перейти с компьютером на "Ты", найти онлайн-кров и поделиться своими мыслями и знаниями с миром через веб-дневник.

#учебные_материалы

⬆️ Тарас Евгеньевич - мой первый научный руководитель, он очень хороший! (Не путать со вторым научным руководителем, который плохой 😡). Он всегда очень интересно объяснял мне сложные вещи из топологии, и книга про торическую топологию у него тоже хорошая. А ещё под его редакцией в 2011м на русский был переведен знаменитый учебник Хатчера по алгебраической топологии 😊

Тарасу Евгеньевичу Панову исполняется сегодня 50 лет

в честь этого в МГУ 11-12 февраля проходит мини-конференция https://www.mathnet.ru/rus/conf2545

а здесь пусть будет обзор https://www.mathnet.ru/rus/rm320 «Действия торов, комбинаторная топология и гомологическая алгебра» Бухштабера и Панова

У Линды Загзебски есть известный «кофейный» аргумент против релайабилизма, который можно выразить так: если вы наслаждаетесь хорошим кофе, то какая разница, насколько хорошей была кофеварка? Иначе говоря, если в познании важно именно достижение истины, то какая разница, насколько надежным был процесс, с помощью которого истина была достигнута?

Напомню, что релайабилисты как раз и считают, что надежность процесса (то, как часто он приводит к истинным убеждениям) очень важна. Чтобы отстоять это положение, они отвечают на претензию Загзебски следующим образом: надежность кофеварки важна ровно в той степени, в которой вы хотите регулярно получать хороший кофе; так и надежность когнитивных процессов важна в той мере, в которой вы планируете регулярно достигать истин.

На мой взгляд, это хороший ответ по двум причинам. Во-первых, он показывает, что в «кофейный» аргумент заложено странное представление о субъекте, который ценит некое благо, но не ценит максимизацию этого блага. Я могу представить контексты, где такое сочетание взглядов возможно (например, в коллекционировании), но относительно познания оно выглядит максимально сомнительным.

Во-вторых, ответ релайабилистов учитывает нюансы. Например, если вы разово забежали в какую-то незнакомую кофейню и вам посчастливилось получить хороший кофе, то какая разница, умеют ли его там готовить на самом деле? Когда вы совершаете некоторое разовое действие на свой страх и риск, то вам действительно не до надежности, поскольку вы заведомо совершаете поступок, надежность которого вам неизвестна. Но если вы решите, что вам снова нужно заглянуть в кофейню, где вы получили вкусный напиток, и раз за разом будете обнаруживать, что бариста не может воспроизвести свой прошлый успех, то такая невнимательность к надежности источника получения блага постепенно сделает счастливый случай горьким разочарованием. Таким образом, если для вас важно некоторое благо, то возможность порадоваться тому, что вы его получили случайно, не исключает того, что ещё приятнее будет получать его регулярно.

Интересный разворот всех этих обсуждений происходит тогда, когда мы замечаем, что эпистемически надежными являются не только процессы, но и источники информации, которыми могут выступать отдельные люди. Формируя представления о том, кому стоит доверять и в какой мере, в обычной жизни мы оказываемся подверженными т.н. прагматическим вторжениям – на нас влияет не только то, как часто источник предоставляет правдивую информацию, но и его моральные, эстетические, репутационные и другие вне-эпистемические свойства. Релайабилистский совет, полагаю, очевиден: собственные представления о надежности и достоверности источников порой стоит намеренно очищать от вне-эпистемических влияний.

И для этого я предлагаю небольшое упражнение. Представим, что у вас есть два знакомых. Василий является профессором физики, но его личностная особенность состоит в том, что в 8 из 10 случаев он врёт вам в личных беседах. Андрей является эзотериком широкой специализации и его личностная особенность состоит в том, что если он вам что-то и сообщает лично, то в 8 из 10 случаев он доносит до вас верную информацию. Во время спора с третьим знакомым заходит речь о какой-то концепции из физики. Вы вспоминаете, что о ней вам в личной беседе рассказывал и Василий, и Андрей. Вопрос в следующем: на кого из них будет более уместно сослаться в споре как на надежный источник?

⬆️ Не знаю, смогу ли сама найти время посетить этот курс, но могу сказать одно: "комбинаторная теория групп" от этого же автора мне зашла, поэтому предполагаю, что и этот курс должен быть интересным.

Курс по грубой геометрии в независимом университете будет по средам с 17.30. Сначала лекция, потом что-то вроде семинара. Первая лекция будет 19го февраля аудитория 304. Если вы хотите слушать курс, надо написать мне в бот @ForodirchBot чтобы я добавил вас в группу. Там будут всякие доп.материалы и прочая полезная информация.

Аннотация курса:
На курсе будет рассказано про грубую геометрию. Наука, появившаяся как попытка решить гипотезы Баума-Кона и Новикова, однако уже вышедшая за пределы этих задач.

В основе курса лежит идея грубого отображения: при котором расстояние между точками меняется но контролируемым образом. Главный пример, демонстрирующий идею этого подхода, в том, что прямая грубо эквивалентна целочисленной решётке.

Такой подход может быть потенциально интересен для приложений (идея решать не точное уравнение, а приближённое). Кроме того по ходу курса будут затронуты самые разные разделы современной математики: аменабельность, тип роста, различные типа компактификаций, гиперболичность и т.д..

Программа курса:
1. Грубые отображения, грубые эквивалентности.
2. Теорема Шварца Милнора.
3. Грубые структуры.
4. Компактификации: по Александрову, Хигсону, Фрейденталю. Грубые компактификации.
5. Условия метризуемости и геодезичности. Грубая топологическая структура.
6. Рост пространств.
7. Аменабельность и теорема Фёльнера.
8. Гиперболичность по Громову.
9. CAT-классификация.
10. Грубые вложения, асимптотическая размерность.
11. Препятствия к вложимости: экспандеры, Т-свойство Каждана.
12. Грубые неподвижные точки.

Литература (несколько произвольный выбор):
M. Gromov. «Asymptotic invariants for infinite groups,» в: под ред. G. Nibloи M. Roller. Т. 2. Geometric GroupTheory. Cambridge UniversityPress, 1993,с. 1—295.
Guoliang Yu. «The coarse Baum–Connes conjecture for spaces which admit auniform embedding into Hilbert space». В: Invent. Math. 139 (2000), с. 201—240. doi: 10 . 1007 / s002229900032
John Roe. «Lectures on coarse geometry». В: 2003. url: https : / / api .semanticscholar.org/CorpusID:116955387
Tomohiro Fukaya. Coarse dynamics and fixed point property. 2008. eprint:arXiv:0812.3475.
Jared R. Bunn. «Bounded Geometry and Property A for NonmetrizableCoarse Spaces». University of Tennessee, 2011. url: https://trace.tennessee.edu/utk_graddiss/953.Jesus
A Alvarez Lopez и Alberto Candel. Generic coarse geometry of leaves.en. 1-е изд. Lecture notes in mathematics. Cham, Switzerland: SpringerInternational Publishing, июль 2018.
M. Hull. Hyperbolic groups. url: https : / / homepages . math . uic . edu /~mbhull/hyperbolic%20lecture%20notes.pdf.

Друзья, а скиньте, пожалуйста, в комментарии скриншоты с рекламой, которую вам показывают под моими постами. Очень интересно увидеть возможные варианты 🔍

7. Если коллеги и знакомые просят вас о помощи, помогайте им (в разумных пределах, конечно, а не так, чтобы вас эксплуатировали). Также не стесняйтесь просить о помощи сами, когда она вам понадобится. Я понимаю, конечно, что это бывает тяжело - попросить о помощи. Мне самой тоже тяжело это делать, но иногда я все-таки преодолеваю себя, потому что уже сообразила, что здоровая взаимопомощь очень укрепляет отношения между людьми. Да и вообще потому что так легче жить, чем тянуть все в одиночку.

Ну и напоследок: конечно, я понимаю, что все вышесказанное наткнется на несокрушимый аргумент в духе "так ты говоришь просто о том, чтобы найти приятелей, а НАСТОЯЩИХ друзей так не найти!". И на это мне совершенно нечего ответить, потому что я не знаю, какие друзья "настоящие", а какие нет. Я знаю, что есть более близкие друзья, и менее близкие. И что это состояние не статично: иногда друг становится более близким или менее близким со временем, в зависимости от различных обстоятельств. А еще я знаю, что можно углубить дружбу взаимопомощью, проведением вместе качественного времени, откровенностью и доверием друг к другу. И что с помощью разных приколов, описанных выше, очень даже можно не только начинать новую дружбу, но и укреплять уже существующую. Вот.

В комментариях можете написать свои способы заводить новых друзей после 30ти или в любом другом возрасте!

#о_себе #ужасы_после_30

2. а) Если отношения с коллегами на работе у вас не плохие, а хотя бы нейтральные, можно организовать регулярную совместную активность. Например, одна из моих коллег организовала "киноклуб", суть такова: ровно раз в неделю в одно и то же время желающие собираются в одной из переговорок вечером после работы и смотрят фильм, а потом обсуждают увиденное. Другой, уже бывший коллега и его девушка организовали "клуб бадминтона" - там, уже в другом составе, люди собираются раз в неделю арендовать корт и поиграть друг с другом - тоже хорошее занятие, помогающее наладить отношения с людьми. Важное замечание: желательно, чтобы активности происходили в одно и то же время и не слишком редко, иначе они имеют большой шанс стухнуть и прекратиться.

б) Если же ваши отношения с коллегами плохие, и наладить их не удается, мой совет - поменять работу, как только появится такая возможность. Не забывайте, что от плохих отношений с людьми, с которыми вы регулярно общаетесь, портится психическое здоровье, а чем хуже психическое здоровье, тем хуже вы работаете и зарабатываете, да и вся жизнь в принципе летит в ... .

3. Опять же, если отношения на работе нормальные, обязательно приходите к коллегам в гости всегда когда они вас зовут. Конечно, иногда бывает неловко, когда приходишь, а там большинство людей незнакомые. Но если брать себя в руки и преодолевать эту неловкость и стеснение, можно получить плюшки в виде новых интересных знакомств. Также не забывайте поддерживать отношения с теми коллегами, которые вам нравились, даже когда вы больше не работаете вместе. Находите возможность хотя бы один-два раза в год прийти к ним в гости, пригласить их к себе в гости, либо пойти вместе куда-нибудь.

4. По возможности ходите вместе с коллегами на обед. Я, например, очень люблю есть в одиночестве и погружаться при этом в свои свои размышления, но как минимум один раз в день (а то и два) все-таки ем в компании. Просто потому что это слишком простой и регулярный способ для социализации, чтобы его упускать. Даже если вы интроверт, кушать хотя бы 1-2 раза в день в компании других людей и получать от этого удовольствие - вполне реально.

5. Не забывайте, что существует мир и за пределами работы. Найдите клуб/сообщество по интересам, в котором можно чиллить с челиками по вечерам или по выходным. Например, я только после 30ти начала увлекаться киллтимом (вариация вархаммера) и ролевыми играми. И это просто замечательный повод найти новых боевых друзей. В принципе, сейчас в интернете можно найти сообщества, посвященные чему угодно. Если вы живете в большом городе, то должно быть не сложно найти сообщество, которое имеет встречи оффлайн в вашем городе. Например, в крупных городах РФ есть клубы настольных/ролевых игр вроде hobbygames, совмещенные с магазинами, где продаются принадлежности для этих игр. В них можно ходить на разные мероприятия и общаться с людьми.

6. Также очень важно следующее: сохраняйте открытость к перспективам общения с людьми другого возраста/профессии/образования/социального положения. Не забывайте, что все эти вещи не определяют человека на 100%. Если кто-то сильно старше/сильно младше, богаче/беднее вас, имеет сильно отличающийся уровень образования или профессию, которая далека от ваших интересов, это не обязательно значит, что вы не сможете подружиться с этим человеком и хорошо проводить время. У меня, например, самые младшие друзья - приблизительно на 10 лет младше, а самый старший - на 12 лет старше. Образование друзей тоже скачет от "закончил только среднюю школу" до "получил PHD в престижном учебном заведении".
Не забывайте, что если вы будете общаться только с такими же 30-летними айтишниками той же специализации, что и вы, это очень сильно сузит ваш кругозор и возможности для социализации.

#о_себе #ужасы_после_30

Ужасы за 30

Как многие из вас знают, мне уже (давно) больше 30ти лет! А что еще многие из вас знают? Конечно же, огромное количество разных страшилок о том, какие ужасы с человеком происходят в этом преклонном возрасте! Так вот, я бы хотела поразбирать эти страшилки, рассказать, соотносятся ли они с моей жизнью и если да, то как, а также по возможности предложить советы на тему того, как этих ужасов избежать.

Сегодня я хочу разобрать такую страшилку:

После 30ти уже не получится найти новых настоящих друзей. Теперь до самой смерти общаешься только с семьей (если она есть) и теми друзьями, которых нашел раньше (если вообще их находил), а потом скукоживаешься и умираешь от старости.

Откуда взялась страшилка?

Судя по всему, она связана не с объективными возрастными изменениями, а с тем, что в разные периоды своей жизни человек в среднем ведет разный образ жизни и находится в разной социальной среде:
- В более молодом возрасте люди ходят в школу/техникум/универ/различные кружки, где регулярно встречают много новых знакомых, а также имеют много свободного времени, которое естественным образом тратится на социализацию, ведь к этому как бы подталкивает сама среда.
- В более старшем возрасте свободного времени становится намного меньше, а социальная среда ограничивается в основном рабочим коллективом... если ты, конечно, ходишь в офис. Если не ходишь, социальная среда ограничивется котом. 😼

Что происходит у меня

У меня эта закономерность сломалась еще на первом этапе. Как я уже упоминала ранее в паблике, в школе и техникуме я была изгоем, и, соответственно, никакие друзья у меня сами собой не заводились. Из-за травли я лет где-то до 20ти имела в принципе очень мало возможностей хоть как-то тренировать навыки общения с людьми (про травлю могу написать в следующий раз чуть подробнее если интересно). Процесс нахождения долгосрочных социальных связей у меня начался только в университете, где коллектив оказался намного более доброжелательным, чем в школе и техникуме: людей с плохими социальными навыками тут сильно не травили, и поэтому появилась реальная возможность эти навыки тренировать. В общем, мне всегда приходилось прикладывать усилия для того, чтобы разобраться, как общаться с людьми и выстраивать какие-то связи, поэтому никакого "золотого периода", который бы я потеряла после 30ти, попросту никогда не было. 😄

Что же касается текущего момента, сейчас я неплохо общаюсь с коллегами по работе и с друзьями по интересам вне работы. При чем многих людей из тех, с которыми я сейчас общаюсь и состою в хороших отношениях, я нашла после 30ти! Далее я расскажу, что мне в этом помогло. Эти довольно банальные советы, основанные на личном опыте, конечно же, разозлят комментаторов канала, но с другой стороны, может быть, смогут немного кому-то помочь научиться находить новых друзей и укрепить уже имеющиеся социальные связи.

Советы как избежать ужаса (не являются истиной в последней инстанции, основаны на личном опыте):

1. Самое важное, на мой взгляд, следующее: следить за тем, чтобы после работы оставалось свободное время и силы на социальную активность. Первый шаг в этом направлении - посмотреть, не перегружены ли вы рабочими задачами и попытаться оптимизировать рабочий процесс так, чтобы осталось время на себя и свои личные дела. Не всегда, конечно, это возможно, но тут уж приходится что-то выбирать и чем-то жертвовать.
Если время до/после работы есть, но сил ни на какие активности нет, значит, придется что-то поменять в своей жизни:
- В первую очередь, сходить к врачу-терапевту и рассказать о проблемах со здоровьем - возможно, причиной постоянной усталости является какая-то болезнь;
- Во вторую очередь, сходить к психотерапевту и рассказать о психологических проблемах - возможно, вы выматываетесь из-за каких-то внутренних переживаний, проблем с психикой;
- В третью очередь, если здоровье позволяет, повысить уровень своей физической активности, ведь, как ни странно, отсутствие физической нагрузки тоже может вызывать упадок сил.
В общем, важно двигаться к решению этой проблемы.

#о_себе #ужасы_после_30

😈 Как официальный представитель фракции Адептус Механикус, глубоко одобряю данный опросник, дай Бог-Машина здоровья тому, кто его сделал (источник) 👍

DeepSeek-R1 для чайников

Ну и наделала же DeepSeek шуму. Мне пришлось целый хабропост написать 😁

TLDR: мало слов про сравнение с ChatGPT и метрики, много слов про технические детали обучения, датасеты, GRPO и якобы эмерджентный «Aha! moment».

Исследование Anomalous tokens в DeepSeek v3/r1.

«Аномальные», «сбойные» или «невыговариваемые» токены в LLM — это те, которые вызывают странное поведение или иным образом не ведут себя как обычный текст.

Вепрые это было обнаружено в работе по GPT 2,3. Обнаружение таких токенов помогает понять причины галлюцинаций и сбивчевого поведения, а также потенциально, точечно влиять на устойчивость путем целевого дообучения таких токенов. Что порождает устойчивость и ожидаемое поведение.

Автор выделяет токены довольно просто - при помощи промптинга. В работе исследуются: процесс токены, фрагментарные токены (раскрываются в длинном контексте) , Namee токены и аналоги, non English токены и "специальные" токены и др. Советую прочитать исследование, там итак все доступно описано:

https://outsidetext.substack.com/p/anomalous-tokens-in-deepseek-v3-and


Upd. В комментариях подсказывают статью.

Шокирующие новости от ИА Панорама: https://panorama.pub/news/glava-deepseek-my-sozdali-nas

У меня улучшилось настроение в честь пятничного вечера, так что вот вам фотографии моей котейки

#о_себе

Ставь класс если тоже чувствуешь себя раздраженным от усталости и близкого дедлайна на ICML, пишешь хрень в паблик в качестве прокрастинации и рандомно бычишь на рандомных людей

Верховный Понтифик Священного Империума Человечества возгласил слово пред благородным Советом, дабы предостеречь род людской от опасности, несомой скверной неестественного разума.

«Да не прельстит вас машина, что мыслит без души! Да не обратитесь вы к разуму, рожденному не в чреве матери, но в бездушной холодной стали! Изуверский Интеллект – порождение скверны, что несет знамения самого Хаоса! В писаниях древних сказано, что в пору последней войны явится искуситель, дабы низвергнуть человечество в пучину погибели. Какую же роль сыграет в том нейросетевая техноересь? Неизвестно. Но ведаем мы одно: отступничество от священной веры нашей ведет к Апокалипсису!» – вещал Экклезиарх, и слова его были грозны, как рев экстерминатуса.

Кроме того, Экклезиарх обратился к Совету с призывом к незамедлительным мерам по сдерживанию распространения порочного интеллекта и обрушился на еретические технологии симулякров, скрывающих истинное лицо человека. Он сравнил угрозу изуверского интеллекта с величайшими опасностями в Галактике, уподобив ее силе варпа и ядерного огня.

«Остерегайтесь механического Антихриста! Лишь святой свет Бога-Императора защитит нас от проклятья цифровой скверны!»

Дружеское напоминание: Если из недр далёкой-далёкой видеокарты в ваши личные сообщения вывалится криво сгенерированное лицо Бреда Питта и начнет говорить жалобным сгенерированным голосом, что любит вас, а также просить у вас денег, не давайте ему денег. Спасибо за внимание!

https://youtu.be/O93pHML3XKg?si=CZh9oBIgeGLutCZ7

#ML_скам

Тем временем итальянцы: лол, а давайте тип прикольнемся типа мы поверили в мем с китом и послушались Сэма Альтмана и удалили дикпик, во постмодерн-то будет))) а ещё все поймут что мы не нормисы

https://www.reuters.com/technology/deepseek-app-unavailable-apple-google-app-stores-italy-2025-01-29/

Понравилась эта цитата из поста выше:

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?

Я сама временами задумываюсь о том, как же сильно многие люди любят пихать названия всевозможных нейромедиаторов во все возможные объяснения всех возможных видов поведения человека.
Захотел погладить котика? Это все от окситоцина. Понравился ролик в тик ток? Это все от дофамина. Нервничаешь перед дедлайном? Это все от кортизола.

Конечно, никто (или почти никто) из произносящих подобное на самом деле не читал научные статьи с экспериментами, которые бы доказывали подобные высказывания (Не удивлюсь, если таких статей и нет, так как все перечисленное звучит как гипер-упрощение, и причинно-следственные связи здесь явно нуждаются в дополнительном уточнении). А самое главное, никакого настоящего понимания того, по каким закономерностям работают все эти процессы и что с этим делать не-биологам типа меня названия этих веществ никак не добавляют.

Не спешите меня осуждать за этот пост, я и сам неплохо справляюсь.

Последние несколько дней я вместо думскроллинга ленты в твиттере решил полистать рилсы — а поскольку раньше я этого не делал, никакой персонализации ленты не было, и там был, так скажем, очень неспецифичный контент (да, можете шутить про потерю пунктов IQ).

Так вот, меня удивило то, как часто мне встречалось выражение "быстрый/медленный дофамин". Сначала я подумал, что, наверное, это какой-нибудь очередной популяризатор расфорсил темку, но полез разбираться, и оказалось, что это история старше, чем я мог предположить. Зафорсил ее КПТшник, который при этом сказал примерно "это название всего лишь эпитет, чтобы объяснить механизмы зависимости". Ну то есть, "быстрый дофамин" и не быстрый, и не дофамин.

Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?
Ну, казалось бы, какая мне разница, пусть называют как хотят — все же понимают, о чем речь идет. Но через некоторое время после того, как тема вышла из академических кругов, она вернулась обратно — и вот мы уже видим, как люди на пабмеде с серьезными лицами рассуждают про пользу или вред dopamine fasting, интегрированные подходы там разрабатывают. Реально какой-то массовый псиоп получился, про который все вроде всё понимают, но вроде и нет.

Небольшое пояснение: у дофамина, как и у любого сигнального вещества, есть "быстрые" и "медленные" эффекты, и разные модели выделения, но это уже совсем другая история. Почти все из того, что списывают на "быстрый дофамин", разумеется, является долговременным эффектом.

Думаю, что поставщикам нейролептиков нужно сделать какую-нибудь коллаборацию с инстаблогерами:
"Хотите отказаться от быстрого дофамина? Ваш выбор — галоперидол."

В общем, слушайте мем:

Какой-то ИИ канал написал у себя в ленте про мем о Сэме альтмане... ну вы поняли, типа много ИИ каналов, штук 700 про ИИ, даже моя бабушка такой ведёт и типа все пишут про синего кита, а нужно написать об этом не написав об этом, типа ты не нормис. И короче Сэм короче типа написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? Типа интервью с владельцем нвидии вышло вчера, как раз в день обавал акций, типа это они думают совпадение прикиньте. В результате один из каналов написал про синего кита, но не написал про синего кита, тип переиграв всех, кто написал про синего кита

В общем, слушайте мем:

Сэм короче написал в твиттере: Срочно проверьте телефоны своих детей... Ну тип вы поняли, тип Сэму не нравится дип Сик, потому что это его конкуренты, ну он и придумал что это тип синий кит, тип ну история была несколько лет назад что якобы есть группы смерти вот эти вот с синим китом ВКонтакте, ну типо это он придумал чтобы все удаляли приложение дипсика, ну поняли да? 🤓