🔎 Наверняка вы уже слышали, что новые модели OpenAI – O3 и o4-mini – невероятно хороши в работе с изображениями, особенно в определении местоположения, где было сделано фото. Уже третий день провожу тесты и поражаюсь результатам. Вот простой пример:

Где сделано фото?

Ответ модели:

Это Москва — на реке Москве (Карамышевский участок судоходного канала). На снимке — один из новых московских электропаромов «Сетунь», которые ходят по городской речной линии, поэтому кадр сделан именно здесь.

Модель (или правильнее говорить — агент?) может работать до 30 минут, используя различные подходы (всё это видел лично, часть приложил к посту):

- «Разглядывает» отдельные части изображения
- Пытается извлечь GPS-теги из метаданных и другие метаданные (их я заранее удалил)
- Применяет различные фильтры для повышения четкости и чтения надписей
- Использует зеркальное отражение изображения, чтобы обнаружить подсказки в отражениях или на вывесках изнутри помещений
- Накладывает координационную сетку (типа миллиметровки) на части фото
- Использует информацию из истории и любых прошлых диалогов

Ну и, конечно, просто рассуждает и активно ведёт поиск в интернете с сотнями (!) запросов — это уже база.

Настоящий OSINT одним нажатием кнопки 🔥

Если бы пару недель назад меня спросили, как AGI будет решать подобную задачу, я бы описал именно такое поведение. Так что в этой области мы уже наблюдаем наступление настоящего AGI. Да, оно наступает неравномерно и временами может вести себя нелепо, но кажется, мы сейчас видим как именно выглядит предсказанный в статье The AI Revolution момент, когда поезд AI проходит станцию с надписью "Human-Level Intelligence" без остановок.

Кстати, других остановок у него тоже как будто не предвидится 🤔

🔎 Наверняка вы уже слышали, что новые модели OpenAI – O3 и o4-mini – невероятно хороши в работе с изображениями, особенно в определении местоположения, где было сделано фото. Уже третий день провожу тесты и поражаюсь результатам. Вот простой пример:

Где сделано фото?

Ответ модели:

Это Москва — на реке Москве (Карамышевский участок судоходного канала). На снимке — один из новых московских электропаромов «Сетунь», которые ходят по городской речной линии, поэтому кадр сделан именно здесь.

Модель (или правильнее говорить — агент?) может работать до 30 минут, используя различные подходы (всё это видел лично):

- «Разглядывает» отдельные части изображения
- Пытается извлечь GPS-теги из метаданных и другие метаданные (их я заранее удалил)
- Применяет различные фильтры для повышения четкости и чтения надписей
- Использует зеркальное отражение изображения, чтобы обнаружить подсказки в отражениях или на вывесках изнутри помещений
- Накладывает координационную сетку (типа миллиметровки) на части фото
- Использует информацию из истории и любых прошлых диалогов

Ну и, конечно, просто рассуждает и активно ведёт поиск в интернете с сотнями (!) запросов — это уже база.

Настоящий OSINT одним нажатием кнопки 🔥

Если бы пару недель назад меня спросили, как AGI будет решать подобную задачу, я бы описал именно такое поведение. Так что в этой области мы уже наблюдаем наступление настоящего AGI. Да, оно наступает неравномерно и временами может вести себя нелепо, но кажется, мы сейчас видим как именно выглядит предсказанный в статье The AI Revolution момент, когда поезд AI проходит станцию с надписью "Human-Level Intelligence" без остановок.

Кстати, других остановок у него тоже как будто не предвидится 🤔

🚧 AI агент с MCP открыл шлагбаум у меня во дворе! 😱

>> видео на youtube <<

Давно хотел показать свои эксперименты с MCP и агентами, и в итоге записал небольшой обзор, в котором:

- Рассказываю, зачем нужен MCP
- Показываю агентов, которые умеют пользоваться MCP (и реально пытаются открыть шлагбаум у меня во вдоре)
- Запускаю такого агента на гигачате, подключу к нему разные MCP-сервера
- Показываю код такого агента на LangChain.
- Показываю процесс создания собственного MCP сервера
- Залезаю внутрь протокола и показываю, какие запросы уходят в LLM

Ссылки:
- Оригинальный клиент mcp-client-cli (не работает с GigaChat)
- Версия консольного агента с поддержкой GigaChat (требует установки из исходников)
- Repl-агент с MCP на LangGraph
- Пример из кукбука с агентом и сервером на LangChain (GitHub, GitVerse)

Недавно побывал на AI Agents BuildCon, где провел экспресс-воркшоп по созданию AI-агентов. Решил отказаться от традиционной презентации и попробовать новый формат — живое кодинг-шоу. Вместо слайдов я запускал код в реальном времени.

На воркшопе показал, как создать мультиагентную систему, которая генерирует речи для публичных выступлений по сложному ТЗ. Особенность задачи — включение цитат из законов и определенных книг.

Что успел показать:
- Мультиагентная система на langgraph
- Настройку и работу RAG
- Совместное использование нескольких LLM - GigaChat + Gpt4o
- Chain-of-thought, reflection
- LLM-as-RAG
- Средства логирования и отладки langsmith

Огромное спасибо организаторам конференции — атмосфера была🔥! Другие доклады можно посмотреть в их tg-канале.

>>>Ссылка на ноутбук с примером<<<

Думаю, материал может оказаться полезен для тех, кто хочет быстро вкатиться в разработку агентов.

Учим модель рассуждать на русском как 🐋 DeepSeek R1 за 2 часа и $2.5

Встретился интересный пример, как можно обучить свою reasoning (думающую) модель с помощью подхода как у DeepSeek R1 — чистый RL без примеров реальных рассуждений. Пришлось основательно доработать его напильником, но в итоге завелось!

🔹 За основу взята “не-думающая” малышка Qwen2.5-0.5B
🔹 Алгоритм вознаграждения для RL очень похож на DeepSeek:
• “Хвалим” модель за правильное использование тегов и , за попадание в ответ.
• При этом не даём ей никаких указаний, как именно нужно рассуждать (для меня именно это — самое удивительное!)
🔹 Датасет: русскоязычный 📚 d0rj/gsm8k-ru (переводной, пары “вопрос-ответ” по математике)
🔹 Главная фишка 🚀 — обучение занимает всего пару часов на A100 (40GB), после чего модель реально начинает рассуждать на русском внутри выделенных тегов.
🔹 Где взять A100? — оплатить подписку Colab Pro ($10, из них обучение съест $2.5). Другие варианты - гранты hugging face. Смелые могут запустить на маке M-series без vllm, обучение займет 40 часов.

Это учебный пример, чтобы пощупать процесс обучения R1-like “думающих” моделей. Не ждите от модели многого — 0.5B среди LLM это, конечно, муравей 🐜. Мне до сих пор странно, что они вообще могут научиться что-то говорить.

Ссылка на Colab с работающим примером. Ссылка на исходный пример внутри.

P.S. Только сейчас заметили, что задача-то не правильно решена 🙈

UPD: Замерил качество. Результат так себе. Модель хорошо научилась вставлять свои рассуждения в теге, но на качестве ответов это никак ни сказалось.

🐳 Вчера с @uburov обсуждали тему, почему DeepSeek пошел в опенсорс и пришли к интересным выводам.

DeepSeek сделали значительное открытие в области LLM (отказ от SFT в пользу RL с максимально простой reward-моделью и другие улучшения, которые сокращают стоимость обучения и инференса в 20-50 раз). Но почему DeepSeek выложили это в открытый доступ, нивелировав свое конкурентное преимущество?

Сначала у меня были такие предположения:
- У них на руках уже есть еще более мощные модели, так что поделиться ради PR было не жалко
- Публикация в рамках ценностей научного сообщества
- Компания не знает быстрого способа монетизировать свою находку

Но если мы посмотрим на биографию Liang Wenfeng, то становится понятно, что вряд ли. Дядя миллиардер, 10 лет управляет хедж-фондом и много чего еще.

Так что наша гипотеза, почему deepseek опубликовал свое открытие, такая:
- Открытие значимое, но долго прятать его не получится. У компании было 1-3 месяца до того, как этот подход нащупали бы остальные.
- За это время монетизировать или как-то выгодно применить его было нельзя
- DeepSeek пошли по пути дизрапта. 2 недели назад они были "одними из многих", уровня mistral-ai
- Сейчас это "китайский OpenAI" - все внимание им, все лучшие специалисты им
- А тут еще и $137b китайцы выделяют на AI. Ясно, кто будет главным кандидатом на роль "китайского Альтмана".

Момент выбран идеально и коллеги из DeepSeek прекрасно им воспользовались! Респект! 🫡