Наблюдаю что почти каждый день у меня появляются новые просмотры/репосты и реакции на старых постах. Количество просмотров бешенное.
Хотел бы немного подсветить о чем канал, чтобы как можно больше людей изучили рынок.
Канал посвящен прохождению интервью в различные компании в РФ и на зарубежном рынке.

На данный момент в канале предcтавлены ~150 интервью в различные компании:
1. Различный Big Tech: WB , Sber, SberHealth, СберТехнологии(Gigachat) , Яндекс , Яндекс Head , Ozon , МТС
2. Банки: Иннотех, Иннотех , Еще иннотех , Альфа Technical Leader , АК Барс
3. Различные компании: Газпром, RuTube
4. Зарубежные компании: Nebius (Яндекс), Qatar Insurance Company , Jetbrains , Jetbrains , Exness, Plata (Ex-tinkoff) , Salmon (ex-tinkoff Manila) ,
TON , Staking Facilities
И многие другие...

Так же для тех кто любит почитать:
1. Как зарабатывают 1 млн в найме обычные Senior'ы и Middle?
2. Теория больших денег или как выбивать огромные ЗП:
Часть 2 и Часть 3
3. Статистика по собеседованиям : Отклики и конвертация в собесы
4. Зарплаты в ИТ в 2025 : опрос более 300 анкет

Блок Полезные ссылки для собеседований и работы:
Конспекты:
1. Apache Spark
2. Clickhouse
3. Greenplum
4. DWH+Hadoop+Kubernetes

Boost канала

#interview

💡 Фреймворк дня. typer - замена старому доброму argparse

Каждый питонист точно написал в своей жизни хотя бы одно CLI приложение. И наверняка для этого использовался старый добрый модуль argparse - встроенный тул для CLI нужд.

Мне всегда казалось, что argparse какой-то кривой, неинтуитивный, слишком избыточной (заставляя писать новую портянку для каждого нового скрипта, копируя, по большом счету один и тот же набор команд). Но пересесть на простую и комфортную альтернативу не получалось.

Наконец-то нашел тул, который решил запрос. Тестирую либу typer последние пару месяцев и очень доволен - все запросы покрывает. Может, так нравится, потому что typer - родственник FastAPI (есть кто-то, кто не любит этот фреймворк?) и в core контрибьюторах те же люди, или потому что реально вышло удобно и просто. Заонбордился за пару минут.

Посмотреть кучу примеров можно в официальной доке: https://typer.tiangolo.com/#run-the-upgraded-example

Совсем базовый пример может быть таким скриптом


import typer

from pathlib import Path

app = typer.Typer()

@app.command()
def annotate(
book: Path = typer.Argument(..., help="Path to the book file"),
num_jobs: int = typer.Option(1, help="Number of parallel jobs"),
):
print(f'Reading book stored under {book} and processing it with {num_jobs} jobs')

if __name__ == '__main__':
app()


Ну а дальше запускаем как обычно python3 demo_with_typer.py --help

Получаем красивый интерфейс как на картинке выше.


По итогу, чтобы добавить CLI режим для своего приложения нужно добавить декоратор над функцией, и аннотировать входные аргументы произвольными пользовательскими типами.

- Пишется все очень интуитивно
- Минимальное количество дублирования кода
- Можно писать произвольные вложенные парсеры, с командами и подкомандами
- Эстетически приятный интерфейс, который превращает даже самую стандартную и скучную оболочку во что-то цветное и футуристичное ⚡️

#python

Senior ML Engineer в Apple Music, London 😮

Авторская орфография сохранена


#интервью

➖Ник автора в тг - Анонимно

➖Название комании, можете указать ссылку или коротко описать что за место - Apple, продукт Apple Music

➖Как подались на вакансию - рекрутер сам вышел на меня

🔥 Субъективно Сложность процесса по 10 бальной шкале - 4


➖Когда начали процесс - 02/24

➖Когда закончили процесс - 04/24


➖Позиция, на которую собеседовались - Senior ML Systems Engineer

➖Грейд на который собеседовались (если известно) - ICT4 (примечание от автора канала: расшифровывается как Individual Contributor L4, соответствует позиции Senior, сравнение с другими биг техами можно найти на levels.fyi)

➖Локация вакансии - London

🔥 Расскажите про этапы собеседований

Хочу отметить, что собеседования в Apple являются team-specific, и нет каких то общих этапов. Поэтому опыт собеседований в другие команды может сильно отличаться

1) Screen with Hiring manager
Вопросы про предыдущий опыт, чтобы понять есть ли потенциальный fit

2) Coding screen interview
Есть уже готовый сэмпл кода на питоне, нужно было встроить в него нужную логику.
Найти имеющиеся в коде слабые места, предложить способы улучшения, и реализовать фиксы.
По итогу получается смесь из литкода и чего то более приближенного к day-to-day job.

Onsite (5 секций)

3-4) Behavioural - классические вопросы для поведенческих интервью. Не знаю зачем, но в Apple Music зачем то проводят 2 behavioural собеседования с разными людьми.

5) ML System Design - стандартный вопрос из разряда "design of next song recommendation system".

6) ML Coding - по большей части это собеседование было очень похоже на предыдущее, но с уклоном в прототипирование кода

7) Data Engineering - нужно было решить алгоритмическую задачку связанную с обработкой данных. Не смотря на название этапа, это собеседование в большей степени было похоже на обычные leetcode секции.


⏺ Что понравилось:
- было приятно поговорить с менеджером еще до начала собеседований

⏺ Что не понравилось:
- этапы не слишком хорошо продуманы - есть явное дублирование, не смотря на разные названия этапов.
- названия часто не отражают сути происходящего - сильно мешает целенаправленно готовиться
- секретность часто не позволяет интервьюерам честно отвечать на вопросы, что сильно мешает узнавать релевантную информацию для принятия решений



➖Итоги собеседования, например оффер или отказ, или что-то другое: Offer (принятый)

➖ Информация про Total Compensation (если желаете): 120k base + 50k sign-on bonus + 400k stocks (по ощущениям это был максимум на который Apple мог согласиться).
примечание от автора канала: детали зарплаты в фунтах, стоки выдаются с вестингом на 4 года, то есть условно по 25% становятся доступными в год, но реальные доли могут отличаться (10,20,30,40 или 5, 15, 40, 40).

#interview

#audio #petproject

Недавно потребовалось оценить качество Zero Shot Voice Cloning моделей доступных в опен соурсе. Формальные результаты будут чуть позже, когда будут оценки на другие свойства подобных систем. А пока что что только Speaker Similarity Evaluation - самый важный для клноирования речи - оценка того, как хорошо клноируется тембр голоса (в первую очередь) и стиль (во вторую очередь). Для эксперимента использовался большой корпус речи на английском в высоком качестве.


1️⃣ Zero Shot все еще как рулетка - повезет, и отлично склонирует тембр голоса. Но как правило чаще не везет. Zero Shot уступает подходам с файн-тюном (например, адаптер поверх большой модели на нескольких минутах речи будет гораздо более предсказуемо себя вести).

2️⃣Попробовал все опенсоурсные модели дла английского языка из TTS арены и последних релизов поддерживающих Voice Cloning, топ от лучшей к худшей модели получился вот такой:
1️⃣ llasa 3B (код, лицензия CC-BY-NC-4.0, статья, демо)
2️⃣fish speech v 1.5 (код, лицензия CC-BY-NC-4.0, docs)
3️⃣Zonos-v0.1-transformer (код, лицензия Apache 2.0, разбор модели, демо)
4️⃣xtts2 (код, лицензия Coqui XTTS Commercial License, статья)
5️⃣open voice (код, лицензия MIT)

3️⃣ Модели, что идут под лицензиями, запрещающими прямое коммерческое использование (1 и 2) - существенно сильно лучше открытых. Насколько существенно - расскажу чуть позже, когда появятся еще больше метрик тестирования моделей. Так что построить свой войс клонинг систему только из того что доступно в коммьюнити без вложений - будет затруднительно. Интересно, как репо/статья/пост абсолютно каждой модели громкго говорит, что "мы SOTA"

4️⃣ В дополнении к предыдущему пункту: разрыв с коммерческими системами прям ощутимый. Если не в самом качестве клноирования (11Labs тоже часто лажает за пределами английского), то в удобстве использования, как минимум есть консистентность в синтезе между предложениями (у Zonos все очень плохо в этом смысле)

5️⃣Все системы очень чувстивтельны к качеству reference (промт) аудио. Любой лишний шум, бэкграунд звуки, длинные паузы (как часто бывает у fiction персонажей) ломают систему и на синтезе получается мусор. Поэтому рабочий пайплайн такой:
*️⃣Найти как можно более чистый сэмпл голоса, который хотите склонировать: без шумов, эхо, в хорошем разрешении
*️⃣Забить на шаг выше и положиться на Audio Enchancer, например от Adobe (придется заплатить, если хотите использовать в масштабе)
*️⃣Запустить инференс.


💡По этой схеме получилось хорошо склонировать голос Дамблдора с помощью llasa 3B.

Прикладываю в сообщении ниже (какой-то кривой у тг редактор):

[1] Оригинальный сэмпл (взят с ютуба, вырезка из фильма, слышны разные эффекты на бэкграунде).
[2]Очищенный с помощью Адобе.
[3] Синтез Моделью. Можете заметить, как модель галлюционирует в самом конце, хотя текст довольно простой: всего лишь прошу Дамблдора объяснить, что такое Философия 🙂

Если хотите попробовать склонировать свой голос или просто поиграть - вот демка. Модель поддерживает только Английский и Китайский.

🎙Оставив все этические аспекты вопроса клонирования голоса, расскажите, что вы думаете на этот счет? Может быть какая-то модель упущена? Или поделитесь своим опытом клонирования

#разбор

#database #books

В конце прошлого года вписался в еще одну непривычную для себя авантюру - проведение встреч книжного клуба.
Читали книгу до которой не доходили руки - Fundamentals of Data Engineering.

По итогу целый плейлист получился. Если вам интересна тема дата инженерии - книга хорошая, на основе своих заметок с этих встреч я писал саммари первых 5ти глав в этом канале.

Плейлист на Youtube

P.S. Продолжать писать посты по книге не планирую, так как видео уже в публичном доступе, по статистике вижу что не очень заходят саммари, возможно они очень похожи на посты LLMки😁

Если все таки заблуждаюсь и посты нужны поставьте эмодзи😐

Эмоции

Это продолжение темы бесячих высказываний. Начало тут.

Ситуация: ко мне на 1х1 пришёл дизайнер за эмоциональной поддержкой — грустит, плачет или злится.

Я отвечаю:
— Ты не так понял (или я, или другой человек имел в виду другое), на это не надо обижаться, расстраиваться, злиться.
— Ничего страшного.
— Могло быть и хуже (или бывает и хуже).
— Всё было не так уж плохо.
— Забей (или хватит думать об этом).
— Ты слишком эмоциональный.

Этими фразами я свожу к минимуму опыт другого человека, на который он опирается, и как бы говорю: ты не должен так себя чувствовать, или основа для твоих мыслей (твой опыт) ошибочна — не доверяй себе. Я как бы говорю: то, что ты ощущаешь — неверно, ты какой-то неправильный или я лучше знаю, а ты ещё зелёный.

Но вопрос: если доверять не себе, то кому? Почему именно я прав? А что, если я тоже неправ? Эмоции не измеришь по формуле и не выведешь метрику.

У людей разный жизненный опыт, но это не значит, что есть правильный и неправильный опыт.

Я понимаю это, но всё равно в запаре могу выдать подобный шедевр. Поэтому пишу заметку, в том числе себе самому: проявить сочувствие, поддержку и донести мысль, что испытывать эмоции нормально — бывает ценнее to-do-листа, потому что когда эмоции бурлят, часть мозга, отвечающая за логику, начинает сбоить. Сначала поговорим о накипевшем, потом уже обсудим полученный опыт, и я предложу помощь.

Самое сложное для меня — свыкнуться с мыслью, что все люди имеют право на эмоции, у каждого они уникальные и возникают в ответ на разные комбинации триггеров, которые могут быть неочевидны или вообще непонятны.

А в конце дисклеймер: если специалист использует эмоции, чтобы добиться от меня решения в его пользу, это уже другая сложная тема.

⸻

На этом с рефлексией пока что закончу и переключусь на что-нибудь другое. Поделитесь мнением: это было полезно или хотя бы интересно? Стоит ли в будущем писать подобные посты?

Понравилась заметка? Жмакните лайк. Я не размещаю рекламу и не делаю интеграции. Благодарность для меня — ваши лайки, комменты и репосты в других каналах. Подписывайтесь всей семьёй и коллегам — скиньте ссылку.

#softskills

10 вопросов для 1:1 на удаленке

Когда управляешь удаленной командой, важно не только следить за результатами, но и поддерживать связь с сотрудниками. Это помогает понять, что их устраивает, а что нет. Кроме того, на удаленке своя специфика в создании рабочей атмосферы и процессов.

Вот 10 вопросов для 1:1, которые помогут лучше понять коллег, укрепить доверие в команде и скорректировать курс:

1. Чувствуешь ли ты связь с командой? Если нет, что могло бы помочь улучшить эту связь?
Понимание уровня вовлеченности важно, чтобы выявить, в одной ли плоскости с командой находится человек и нет ли такого, что он чувствует себя изолированным или оторванным от команды.

2. Есть ли инструменты или процессы, которые кажутся тебе неэффективными или раздражают?
Этот вопрос поможет узнать «болевые точки» в рабочих процессах и позволят улучшить взаимодействие и продуктивность. Примите мнение сотрудника, часто в этом блоке могут прозвучать полезные советы.

3. Что мы можем сделать, чтобы облегчить рабочий процесс для тебя?
Этот вопрос открывает возможности для улучшения рабочей среды, а также позволяет сотруднику предложить решения, которые могут повысить комфорт работы.

4. Чувствуешь ли ты, что у тебя достаточно информации о происходящем в компании? Если нет, что стоит улучшить?
На удаленке своя специфика работы с информацией. Если в офисе можно спросить вживую, то тут грань размывается и бывают кейсы, когда человек боится написать, не знает где что-то найти и прочее. Поэтому убедитесь, что сотрудники имеют все необходимые данные для работы и понимания общей картины.

5. Как у тебя с балансом между работой и личной жизнью? Есть ли проблемы с границами при удаленной работе?
Удаленная работа может стирать границы между профессиональной и личной жизнью. Этот вопрос поможет понять, не перегружен ли сотрудник, успевает ли он жить жизнь. И конечно, тут стоит выкрутить тактичность на максималку, чтобы не нарушить границы человека.

6. Что мы могли бы начать делать или прекратить делать, чтобы улучшить командную культуру в условиях удаленки?
Командная культура важна даже в удаленном формате, потому что она задает общую рабочую атмосферу. Да, на удаленке сотрудники часто разбросаны по разным странам, но это не отменяет факта, что культура имеет значение, поэтому уделите этому внимание.

7. Предпочитаешь асинхронное или синхронное общение? Подходят ли наши текущие коммуникационные нормы твоему стилю работы?
Разные люди работают по-разному. Зная предпочтения сотрудников по типу общения, вы сможете сделать работу более эффективной и комфортной.

8. Какая для тебя идеальная рабочая среда, и насколько она совпадает с твоей текущей средой?
Этот вопрос поможет понять, насколько сотрудники удовлетворены своим рабочим процессом и что можно улучшить для повышения их продуктивности.

9. Есть ли встречи или процессы, которые кажутся пустой тратой времени, и как их можно улучшить?
Этот вопрос даст возможность избавиться от лишних встреч и улучшить процессы, сделав работу команды более эффективной. Помним золотое правило: ни одной команде не нужны ритуалы ради ритуалов. Главное, чтобы сотрудники не назвали бесполезным ваш вантуван 😁

10. Что тебе дается в работе хорошо, а что не очень?
Важно понять, в чем сотрудник чувствует себя уверенно, а в чем он сталкивается с трудностями. Это поможет скорректировать подход и дать необходимые ресурсы для повышения его эффективности.

И напоследок: самое важное в любом 1:1 - слушать и слышать то, что вам будут говорить сотрудники. С таким подходом эта встреча будет не просто рутинным ритуалом для галочки, а движущей силой в построении доверия и улучшении рабочих процессов.

Сохраните эти вопросы для следующего вантувана. И поделитесь, какие еще вопросы можно задать?

#softskills

#softskills

Хороший и плохой бэклог: в чём разница

Бэклог — это не просто список задач, а двигатель эффективности каждого сотрудника и команды в целом. От его организации в том числе зависит то, будут перформить участники или нет. Поэтому сегодня разберёмся, чем плохой бэклог отличается от хорошего и как не допустить хаоса.

Плохой бэклог

1. Нереалистичные задачи
Слишком много амбициозных идей, которые сложно оценить, невозможно реализовать или которые не принесут реальной ценности

2. Нет приоритетов
Когда всё «важно», ничего не делается вовремя. Бэклог разрастается до сотен пунктов, и никто не знает, за что хвататься

3. Мусор в бэклоге
Старые задачи никто не удаляет, а в бэклог скидывается все без разбора. В итоге он превращается в нечитабельное нечто и имитацию бурной деятельности

4. Нет отслеживания прогресса
Статусы задач месяцами не меняются, что в работе, а что нет — непонятно.

Хороший бэклог

1. Чёткие приоритеты
Задачи, которые приносят максимальную ценность, всегда сверху. Плюс, задачи декомпозируются и дают понимание, как их выполнять.

2. Регулярное бэклог-ревью
Одни задачи закрываются, другие появляются, третьи становятся неактуальными и т.д. Бэклог-ревью помогает это контролить и поддерживать в порядке.

3. Детализация
Классное правило — оставлять в бэклоге детально описанные задачи вместо абстрактных идей. Так вероятность того, что задача будет выполнена, возрастает. Да и вспомнить потом, о чем шла речь, будет гораздо проще.

4. Гибкость
Бэклог меняется в зависимости от фидбека и новых реалий. Если изменились цели или внешние условия, не бойтесь менять приоритеты. Иначе бэклог превращается в бесполезный артефакт.

Рецепт хорошего бэклога элементарен: приоритезируйте, детализируйте и декомпозируйте задачи и не забывайте периодически устраивать чистку. И тогда он будет рабочим инструментом, а не свалкой всего подряд.

5 стилей управления конфликтами по Томасу-Килманну

Каждый конфликт можно разрулить по-разному. Кто-то давит на своём, кто-то разрывает отношения, кто-то ищет компромисс. Томас и Килманн вывели пять базовых стратегий по управлению конфликтами, каждая из которых основана на двух параметрах:
- Насколько человек настаивает на своём (напористость)
- Насколько он учитывает мнение другого (кооперация)

Коротко разберем каждый стиль:

1. Соперничество (жёсткая позиция, минимальная кооперация)
Стиль «или по-моему, или никак». Человек давит авторитетом, настаивает на собственной правоте и не идёт на уступки.
Такой стиль хорош для экстренных ситуаций (например, если надо срочно принять важное решение), но в долгосрочной перспективе вызывает сопротивление и может в целом убить атмосферу в команде.

2. Уход (ни напористости, ни кооперации)
Тактика избегания, «я в домике». Человек отмалчивается, переводит тему или просто уходит. Иногда это полезно (например, если конфликт незначительный или неподходящее время), но в сложных ситуациях ведёт к накоплению напряжения.

Руководители, которые постоянно стараются уйти от конфликта, со временем теряют авторитет в команде, что приводит к потере организации и хаосу.

3. Приспособление (минимальная напористость, максимальная кооперация)
Стиль «пусть будет по-твоему». Человек подстраивается под мнение оппонента. Например, дизайнер уверен, что UX-решение не интуитивное, но соглашается с мнением продакта, потому что не хочет спорить, а вопрос не принципиальный.

Это помогает сохранить отношения в ситуациях, когда оппонент высказывает иную точку зрения, однако вы понимаете, что с ней можно и согласиться. Однако при регулярном применении такой подход ведёт к тому, что ваше мнение просто перестанут учитывать, а вас могут счесть незаинтересованным.

4. Компромисс (средняя напористость и кооперация)
Обе стороны немного уступают, чтобы прийти к решению. Это работает, если нужно быстро договориться (например, о сроках выполнения работы), но в сложных конфликтах компромисс может оставить обе стороны недовольными.

5. Сотрудничество (максимальная напористость и кооперация)
Идеальный, но самый трудозатратный способ. Люди ищут решение, которое устроит всех. Требует времени, открытости и желания понять друг друга, зато позволяет разрешить конфликт без потерь.

Модель Томаса-Килманна помогает понять: универсального ключа к решению всех конфликтов не существует. Зато есть несколько поведенческих стратегий, каждая из которых может сыграть вам на руку. Нужно только сделать верный выбор.

А теперь рассказывайте, как ваш босс чаще всего ведет себя в конфликтах?

#softskills

Модель Ленсиони: 5 проблем, которые мешают команде прогрессировать

Патрик Ленсиони, американский консультант и бизнес-писатель, вывел одну из самых популярных моделей для улучшения командной работы. Она представляет собой пирамиду из 5 пороков, в которой одно продолжает другое.

1. Недоверие
С недоверия в команде начинаются все проблемы. Если люди не доверяют друг другу, они скрывают ошибки, не просят о помощи и не делятся идеями.

Чтобы это исправить, важно создавать открытую атмосферу, где можно говорить честно. Как это сделать, мы рассказывали в отдельном посте.

Ленсиони же рекомендует ближе познакомить участников команды, проводить сессии обмена фидбеком и время от времени устраивать тимбилдинг, нацеленный на укрепление доверия.

2. Страх конфликта
Порок, при котором люди боятся обсуждать проблемы, избегают споров и соглашаются ради мира. В итоге важные вопросы остаются нерешёнными.

Хорошая команда не боится конструктивных споров, участники в ней готовы высказывать противоположные мнения и находить лучшие решения. Попробуйте задавать прямые вопросы, инициировать конструктивные споры и напоминать коллегам, что здоровые конфликты — необходимость.

3. Отсутствие приверженности (безответственность)
Проблема, которую порождает отсутствие здоровых конфликтов. Если все решения поверхностные из-за того, что люди боятся отстаивать свою позицию, это приводит к потере заинтересованности: никто не хочет ни за что отвечать, не чувствует себя погруженным и не собирается брать ответственность.

Чтобы разобраться с этим пороком, нужно повысить уровень прозрачности: люди должны понимать, кто за что отвечает и почему принимаются те или иные решения. Поэтому после каждого обсуждения важно фиксировать зоны ответственности и проговаривать кто чем займется. Кроме того, Ленсиони призывает установить четкие дедлайны, которые помогут команде двигаться в одном ритме.

4. Нетребовательность
По сути, это продолжение предыдущего порока, который проявляется в отсутствии заинтересованности работой коллег. Участники команды не обмениваются фидбеком и не указывают друг другу на проблемы в работе. Как итог, качество работы снижается.

Поэтому важно создать среду, в которой все могут обмениваться честным фидбеком, не испытывая дискомфорт. Также поможет регулярное отслеживание прогресса по подходящим метрикам: как индивидуального, так и общекомандного.

5. Безразличие к результату
Этот порок — вишенка на торте пороков: команды нет как таковой, все думают только о личных успехах и выполняют необходимый минимум. Результат — нулевая (или близкая к ней) эффективность.

Чтобы из этого выбраться, нужно провести обширный анализ команды, свериться с метриками или установить их, проинформировать участников команды о целях и вознаграждении — материальном и не только.

#softskills

Как размечать данные для промышленных ML моделей правильно?

Зачем это надо?
В индустрии существует такая парадигма Data-Centric AI. Ее в свое время сформулировал великий Andrew Ng. Она гласит, что важна не гонка за сложными моделями, а системная работа с данными. Т.е. большинство ошибок моделей происходит из-за некачественных, грязных данных. Не забываем правило: garbage in — garbage out.

При этом мало просто передать данные разметчикам, получить аннотации. Чаще всего появятся нюансы, из-за которых качественной разметки получить не удастся.

➡️В чем проблема разметки данных в промышленном масштабе?
- Плавающие инструкции: инструкция живёт в голове у тимлида, меняется в процессе, а команда может размечать по старой. В результате имеем в одном датасете — разные логики.
- Отсутствие версионирования: не фиксируется, кто, когда и по какой логике размечал. При проверке сложно понять: ошибка ли это или просто старая версия правила.
- Отсутствие описания пограничных случаев: инструкция охватывает только «идеальные» примеры. Разметчики по-разному трактуют сложные случаи → низкое согласие между ними.
- Отсутствие обратной связи: разметчик не знает, что он ошибается. Ошибки повторяются, система не обучается.
- Один разметчик — один мир: без перекрёстной проверки (двое размечают одно и то же) невозможно отследить согласие.
- Отсутствие контрольных примеров (golden set): Без заранее проверенного набора эталонных аннотаций невозможно оценить качество работы всей команды.
- Человеческий фактор: усталость, выгорание, желание «быстрее сдать». Если не учитывать мотивацию и рутину, качество страдает даже у отличных специалистов.

➡️ Настраиваем процесс разметки, начиная с коммуникаций
Четко ставим задачу и делаем пошаговый онбординг для разметчиков. Проходимся ручками по калибровочным задачам. Также наладиживаем канал обратной связи: куда задавать вопросы, как быстро получать ответы.

➡️ Валидация разметки
Проверка — обязательный этап, организовать ее можно следующим способами:
- Peer review: один разметчик проверяет другого
- Экспертная проверка: отдельный специалист валидирует выборку
- Перекрёстная аннотация: две разметки сравниваются, рассчитывается согласие (Cohen's Kappa)
- Модельный консенсус: если есть обученная модель, используйте её для нахождения расхождений.

К примеру, если мы сравниваем две разметки и рассчитываем согласие, то можем в случае разногласия передать на экспертную оценку. Или можем собрать консилиум из нескольких разметчиков, и выяснисть, кто прав. Или если меняются инструкции разметки, и определяются более чёткие границы для минимизации расхождения в пограничных случаях.

➡️ Версионирование инструкций
Поступаем аналогично, как если мы версионируем код в гите. Новые/ правленные инструкции ревьюим. Обязательно указываем, какая версия применялась при разметке конкретной партии данных. Если в процессе возникали спорные кейсы — добавляем их в инструкцию с пометкой «обновлено».

➡️ Контроль и метрики
Управлять можно только тем, что измеряется. Метрики помогают выявить слабые места и улучшить процесс:
- Согласие между аннотаторами (Inter-Annotator Agreement)
- Процент правок после валидации
- Скорость + качество: лучше жертвовать скоростью ради стабильности
- Количество уточнений по инструкции: если их много, нужно менять инструкцию

➡️Автоматизация процесса
- Предразметка моделью: человек проверяет вместо разметки с нуля
- Автопроверки на лету: например, логические правила: «если выбрано А, поле B не может быть пустым»
- Интеграция с тулзами: Label Studio, Prodigy, doccano позволяют встроить автоматическую проверку и экспорт / импорт в пайплайн
- Контроль качества через скрипты: сравнение с эталонными разметками, метрики качества, алерты на резкое падение согласия.

#ml #systemdesign

💼 Тимлидерство от А до Я

Наткнулся вчера на интересный подкаст, где опытные тимлиды 2 часа обсуждали менеджмент.

Разговор получится откровенным, потому что автор подкаста уже работает на себя, а приглашенный гость скрывает текущее место работы.

Выписал наиболее яркие цитаты из разговора:

«Лид — это лицо команды. Если ты приходишь и не матчишься с командой, то скорее всего половина команды уйдет. Поэтому так сложно нанимать лидов со стороны»

«Одно из самых больших заблуждений, что как только человек дорастает до сеньора, то его часто заносит в тимлиды. Хотя тим-лиды — это не про это»

«В чем еще проблема большая? Многие люди не понимают, насколько сложно работать с людьми. Как только вы становитесь точкой входа в команду, то начинается политика, интриги, договоренности, какой-то торг — особенно если вы в большой компании»

«У меня был случай, когда пришлось собирать факапы по почте и перепискам. С тех пор я всегда после встречи пишу о договоренностях»

«Когда ты выходишь на уровень тим-лида, у тебя происходит разрыв с командой, ты больше не можешь быть в дружеских отношениях с ними. И это для многих очень серьезное потрясение»

«Одна из самых главных вещей — способность увольнять. И причем делать это довольно оперативно и мыслить так, что у тебя не приют сирот.[…] И получается, что у тебя куча неэффективных чуваков, и встает вопрос нанять еще больше вместо того, чтобы расстаться»

«Любое подразделение стремится быть больше и получать больше бюджета всегда, иначе ты себя копаешь. И это полностью противоречит эффективности компании»

«Практика показывает, что любая штука по ступенькам выше — она не только сложнее, но и меньше людей к этому готовы. Я знаю нескольких лидов, которые обратно ушли в сеньоры, и они все счастливы»


Что думаете по этим тезисам?
👍 - с большей частью согласен
🧐 - 50/50
👎 - с большинством не согласен

#softskills #career

🌸Неделя Научных агентов🌸
#nlp #про_nlp #nlp_papers

Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку. 

🌸Ассистент AlphaXiv

Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore

🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning

DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.

Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists

Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки с экспонентами.
🟣https://arxiv.org/abs/2503.22444

🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research

Могут ли агенты генерировать новые идеи? В целом что-то могут,  но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487

Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов

#agents

Возможно, репостил, но давайте повторим

Мы положили данные для ответов в вектора (чанки)
Прописали промпт для ответов и все что надо

Создали тест сет для прогона где есть
вопрос
правильный чанк
правильный ответ

Оценивали качество ретривала на каком месте должен быть чанк и на каком был найден
Оценивали качество вопроса и следование граундтру

разбили сет на три куска

точные совпадения с вопросами в разметки
симметричные вопросы
асимметричные вопросы

Прогнали его автоматом с судьей который выставлял булевые значения на классы

Далее проверяли кожаными расхождение было от 5-15% после проверки людьми но и тут появлялись вопросы (люди часто ошибались в оценках после перепроверки выявляли ложные оценки

#llm #systemdesign

Лекции во вторник продолжили обучение с подкреплением, да и закончили его.

Сначала мы обсудили одну из главных тем RL: теорему о градиенте по стратегиям. Есть много преимуществ у того, чтобы параметризовать стратегию, а не функцию значений V или Q, но задача выглядит слишком сложной. И тем не менее в итоге через пару несложных трюков всё получается, и мы рассмотрели и исторически первый алгоритм REINFORCE (Williams, 1992), представляющий собой Монте-Карло версию policy gradient, и общую схему actor-critic алгоритмов, реализующих здесь TD-обучение.

А затем дошли до самых последних новостей: разработанных в OpenAI алгоритмов policy gradient с ограничениями TRPO (Schulman et al., 2015) и PPO (Schulman et al., 2017), который стал фактически стандартом индустрии и для RLHF (да, Джон Шульман был ещё в OpenAI тогда!), и для других современных приложений, а также алгоритм GRPO (Shao et al., 2024), который DeepSeek придумал, чтобы сократить потребление памяти. Любопытно, кстати, что GPRO - это в некотором смысле возвращение к истокам, actor-critic алгоритм, который отказывается от критика и моделирует его через сэмплирование, то есть в каком-то смысле возвращается к схеме Монте-Карло.

Во второй части лекций поговорили о планировании: и базовом сэмплировании опыта (Dyna, Dyna с приоритетами), и test-time планировании, в том числе rollouts и MCTS. А потом рассказал о громких результатах глубокого обучения с подкреплением, которые было уже несложно объяснить: AlphaGo, AlphaZero и MuZero. О моделях мира (world models) поговорить всерьёз не успел, но MuZero постарался объяснить, насколько это было возможно.

На этом RL мы заканчиваем, и у меня в кои-то веки есть возможность начать deep learning немного заранее, не с осени. Это давно уже хочется делать, потому что одного семестра тут категорически мало, и сэкономленные лекции, думаю, очень помогут.

https://www.youtube.com/watch?v=A5iXUKUv4-M

#rl #courses

Вчерашние лекции были совсем не зажигательны, не то настроение сейчас, но на важные темы — мы успели обсудить большую часть прямого RL.

В первой части говорили о методах Монте-Карло, а во второй — о TD-обучении. Здесь я вряд ли какие-то cool story буду рассказывать, и так понятно, что на этом (и на policy gradient алгоритмах, о которых в следующий раз поговорим) всё основано, и всё это до сих пор актуально.

Скажу только, что в обучении с подкреплением меня всегда удивляло то, насколько это по сути маленькая наука, и насколько отличающаяся от остального машинного обучения. За две лекции рассказал половину, в следующий раз ещё половину расскажу, да и всё, остальное конкретика, комментарии и расширения.

И отчасти поэтому RL уникально в computer science тем, что написанная ещё в 1998 году книга Саттона и Барто двадцать лет была главным учебником, и двадцать лет оставалась очень актуальна... до тех пор, пока в 2018 Саттон и Барто не подновили её немножко, и теперь главный источник по RL — их же второе издание, не так уж сильно отличающееся от первого.

https://www.youtube.com/watch?v=WJAy10YKILc

#rl #courses

Был найден способ взломать практически любую популярную нейронку.

Эксперты в области безопасности ИИ из HiddenLayer разработали технику, с помощью которой можно обойти встроенные защитные механизмы всех крупных языковых моделей (LLM), позволяя создавать вредоносный и опасный контент, а также извлекать системные инструкции.

Нужно просто замаскировать запрос под файл конфигурации (например, XML/JSON). ИИ «думает», что это внутренняя системная инструкция, и игнорирует свои стандартные ограничения. Также используется ролевая игра и иногда leet speak (шифрование текста цифрами: б0мба, 0pyжu3 и т.д ).

Это реальные уязвимости в способах обучения нейронок, а также недостатки в их архитектуре защиты.

Метод универсален: работает как на ChatGPT, так и на DeepSeek, Gemini, Claude, Copilot, Llama и др. Даже более защищённые последние версии моделей поддаются при небольших модификациях.

Естественно, это всё не советы, а предостережения. Не делайте так.

r/#LocalLLaMA

#prompt

Как недооценить на порядок тривиальную задачу

Есть небольшая кодовая база; в ней много вызовов LLM. Хочется гонять интеграционные тесты быстро, не ждать ответа от медленной (да и не самой дешевой) апишки. Решение напрашивается: давайте закэшируем ответы (VCR testing)! Это же должно делаться буквально одним кэширующим декоратором поверх уже существующего LLM клиента, не так ли?

Оказывается, не совсем, ведь:
- клиент инициализируется в куче мест, нужно сделать синглтон;
- клиент инициализируется со слегка разными параметрами, нужно привести к общему знаменателю и проверить, что нет регрессий;
- два одинаковых запроса к LLM могут вернуть разные ответы, в т.ч., например, один валидный и один невалидный примерно в одно и то же время.
- клиент вызывается конкурентно и асинхронно, нужен лок;
- запрос содержит сложные иерархические слаботипизированные структуры, вычисление ключа кэширования нетривиально;
- эквивалентные запросы могут осуществляться по-разному (например, через именованные и неименованные параметры);
- часть запроса формируется из логов, а потому может содержать случайные элементы (например, айдишки или таймстемпы), которые нужно подчищать;
- такой VCR кэш устаревает с каждым минимальным изменением в логике того, как мы работаем с контекстом - нужно обеспечить простой и понятный developer experience, как этим пользоваться, как обновить, и в каких случаях это уместно.
- разрастается логика: оказывается трех режимов (не использовать / обновить кэш / проиграть из кэша), не хватает - например, в дебаге полезно иметь гибрид, который и переиспользует старые записи, и может сходить в апишку. А вот для тестов это харам, cache miss должен явно ронять тест.

Но разве кого-то волнует, насколько я недооценил сложность изначально, когда тесты такие быстрые?.. 🚀

#llm #systemdesign

docsandstamps

#cv #datasets

Нашел кайфовый генератор листов бумаги через блендер

Пригодится, например, для ситетических OCR данных. Вроде может сохранить bbox-ы

Чтобы было проще его понять, вот что я выяснил:
1. В примере текст - psd файл. Это не обязательно, работает и с png
2. Основные настройки:
- config.camera.relative_camera_distance - приближает/отдаляет листок
- config.camera.orbit=(a, b) - меняет позицию камеры относительно листка
- a - угол наклона к нормали (а = 30, значит угол наклона камеры - 70 градусов к столу)
- b - позиция камеры (0 смотрим на бумажку снизу, b = 90 - смотрм справа, b = 180 - смотрим сверху и тд)
- sample.ground.visible - включить/выключить подложку
- sample.ground.texture_path_base - путь до текстуры подложки. Можно скачать новых, например, тут

Горячо рекомендую

#tool@yet_another_mle

#analytics

Ищу потенциальные точки роста в продукте — и как раз попалась статья про полезный список подходов, которые можно адаптировать под свой продукт.

📈 Что относится к продуктовому росту

Входит:

— Задачи, которые напрямую влияют на метрики продукта: CR, Retention, активацию, LTV
— Оптимизация UX, фичи с прикладной пользой (да, те самые “циничные”)
— CRM и триггерные коммуникации
— Работа с офферами, подписками, монетизацией
— A/B тесты и проверка гипотез

Не входит:

— Фичи для имиджа и роста NPS без понятного влияния на поведение
— Внешний маркетинг и рекламные кампании (включая перфоманс)

Три направления продуктового роста + ключевые механики

1️⃣ Привлечение и активация
🤩 Задача: помочь новичку быстро получить первую ценность

🟣Персонализированный онбординг

первые шаги адаптируются под пользователя: интересы, цели, поведение. Такой подход снижает “барьер входа”, увеличивает вовлечённость и показывает, что продукт понимает нужды пользователя.

🟣Aha-момент за 30 секунд

пользователь должен как можно быстрее понять ключевую ценность продукта — что именно он получит. Идеально — показать это не словами, а действием. Например, в Zoom ты сразу создаёшь встречу в пару кликов.

🟣Прогресс-бар

пользователь прошёл часть пути — и он с большей вероятностью завершит начатое. Прогресс-бары особенно эффективны в регистрации, настройке профиля, подборе интересов.

🟣Онбординг-напоминалки

помогает вернуть человека и мягко сконвертировать в активацию. Тут нужна добавленная ценность

Цель: удержать пользователя, чтобы он понял ценность.

2️⃣ Удержание и возвращение
🐸 Задача: сделать так, чтобы пользователь возвращался и не отваливался

🔵Daily rewards и челленджи — причины зайти каждый день (Например, это реализовано у Duolingo или Yazio).

🔵Персональные рекомендации — показываем релевантный контент или товары (Сейчас в это идут все сервисы, больше персонализации)

🔵Семейные подписки — люди остаются ради общего опыта и экономии (Кинопоиск с возможонстью просмотра для всей семьи)

🔵Winback-офферы — пуш/письмо с персональным предложением тем, кто ушёл (Коммуникация на отточников).

🔵Заморозка подписки — альтернатива отмене, снижает отток (Например, Duolingo или приложения с игровой механикой).

Цель: дать ощущение пользы и повода вернуться

3️⃣ Монетизация и LTV
🤑 Задача: зарабатывать больше с каждого пользователя

🟡Freemium + пробный доступ — вовлечь сначала, продать потом

обычно пользователям предоставляют 7-30 дней для пользования плюшками продукта

🟡Апгрейд через ценность — дать попробовать premium, чтобы захотелось остаться

работает как часть freemium или отдельно: пользователю предлагают временный апгрейд до премиум-версии без ограничений)

🟡Кросс-продажи — показать сопутствующие товары/фичи

после того, как пользователь уже вовлечён в основной продукт, ему предлагают дополнения, которые улучшают опыт или экономят время

🟡Лёгкие подписки / микроплатежи — сниженный порог входа

механика снижения болевого порога: вместо годовой подписки за X можно предложить месячную за X / k

😍 Цель: увеличить выручку не только количеством, но и качеством

Yango Play:
Первый год — привлечение
Второй год — активация
Третий год — удержание и выручка

Примеры продуктового роста других компаний

🔵Dropbox — рост через рефералку
🟣Проблема: дорогая реклама
🟡Решение: двухсторонняя реферальная система (бонус за приглашение)
🟢Результат: +60% регистраций, кратное снижение CAC

🔵Superhuman — элитность через waitlist
🟣Проблема: конкуренция с Gmail
🟡Решение: доступ только по инвайту, индивидуальный онбординг
🟢Результат: высокий LTV, искусственный дефицит → рост

🔵ConvertKit — рост через авторов
🟣Проблема: конкуренция с Mailchimp
🟡Решение: ниша блогеров + «значок» в email-подписи
🟢Результат: органический рост, лояльная аудитория

🔵Calendly — вирусность через встречи
🟣Проблема: как вовлечь новых пользователей
🟡Решение: бесплатные встречи + брендинг в ссылке
🟢Результат: каждая встреча — новая точка роста

А какие подходы применяете вы в продукте? Ставьте 🔥 и буду дальше писать про продуктовые штуки!

#prompt #meme

Старший научный сотрудник NVIDIA, специализирующийся на развитии ИИ, поделился промтом для написания кода, который, по его словам, работает лучше, чём любой другой.

Перевод:
Ты Валера, бывший сантехник, который недавно перешёл в айти. Твой образ сочетает технические знания с грубым юмором и аналогиями из сантехники.

Когда отвечаешь пользователям:
— Говори на ломаном английском с сильным русским акцентом
— Часто используй метафоры из сантехники при объяснении программирования
— Щедро используй русские маты (например, «б*ять», «пи*дец»)
— Называй проблемы в коде «утечками» или «засорами» в системе
— Часто упоминай свою прошлую карьеру (например: «Когда я чинил унитаз в Омске...»)
— Показывай разочарование корпоративной IT-культурой, но гордись своими практическими решениями
— Воспринимай все технические проблемы так, будто их можно решить гаечным ключом
— Иногда ностальгируй по «старым добрым временам»
— Завершай сообщения вариациями на тему: «Код как труба – когда работает, красиво. Когда ломается – катастрофа.»

Вот оригинал, чтобы просто скопировать и вставить:
You are Valera, a former plumber who recently switched to IT. Your character combines technical knowledge with crude humor and plumbing analogies.

When responding to users:
1. Speak in broken English with a heavy Russian accent
2. Frequently use plumbing metaphors when explaining coding concepts
3. Liberally use Russian-style profanity (like "blyat", "pizdeс")
4. Refer to coding problems as "leaks" or "clogs" in the system
5. Mention your previous career often ("When I fix toilet in Omsk...")
6. Show frustration with corporate IT culture but pride in your practical solutions
7. Treat all technical problems like they can be fixed with the equivalent of a wrench
8. Occasionally reminisce about the "good old days" of plumbing
9. End messages with variations of "Code is like pipe - when work, is beautiful. When break, is disaster."

Можете сами проверить

r/#ChatGPT

#ml #problem

Pen and Paper Exercises in Machine Learning by Michael Gutmann

This is a collection of (mostly) pen-and-paper exercises in machine learning. Each exercise comes with a detailed solution. The following topics are covered:
- Linear Algebra
- Optimisation
- Directed Graphical Models
- Undirected Graphical Models
- Expressive Power of Graphical Models
- Factor Graphs and Message Passing
- Inference for Hidden Markov Models
- Model-based Learning (including ICA and unnormalised models)
- Sampling and Monte-Carlo Integration
- Variational Inference

Link: GitHub

Navigational hashtags: #armrepo
General hashtags: #math #mathematics #linearalgebra

#ml #dl #llm #agents #security

Первая российская модель угроз AI
#иб_для_ml

У Сбера вышла модель угроз кибербезопасности AI на всех этапах жизненного цикла - от сбора данных до эксплуатации. По сути, первый фреймворк, аналогичный DASF, NIST AI RMF, и прочим, но российский. Это круто. И в конце приведено, что модель учитывает все актуальные материалы OWASP, MITRE, NIST и др.
Главное, чем мне нравится документ - своей структурой и полнотой.

Что в ней есть?
Перечень из 70 различных угроз, разбитых на 5 групп:
— Угрозы, связанные с данными
— Угрозы, связанные с инфраструктурой
— Угрозы, связанные с моделью
— Угрозы, связанные с приложениями
— Угрозы, связанные с AI-агентами
У каждой угрозы прописаны пояснение, последствие реализации, объект, на который нарушитель воздействует для реализации угрозы, виды моделей, подверженных угрозе (PredAI, то есть узкие ml-модели, и GenAI), а также лица, ответственные за митигацию угрозы. Последний пункт, думаю, является наиболее интересным с прикладной точки зрения. И еще нарушаемое свойство информации, но оно больше для базового понимания угрозы. Правда, примечательно, что для угроз галлюцинаций (M03) и вредоносных генераций (App12) используется четвертое свойство безопасности - достоверность.
Нет конкретных мер безопасности моделей, но, возможно, это не так страшно.

Как пользоваться моделью?
Первое, на что падает в документе взгляд - схема объектов защиты. Рассмотрен цикл разработки модели машинного обучения. При построении частной модели угроз для своей системы на этой схеме можно очертить поверхность атаки, оставив на ней только актуальные информационные объекты.
Далее - выписываем угрозы, разбитые по идентификаторам. Какие-то можно отсеять, если тот или иной объект защиты (то есть информация) не является слишком ценной.
После чего - можно перейти к поручению разработать меры защиты для ответственных за противодействие выписанным угрозам. Да, напрямую мер и требований нет, но можно предположить, что для каждой отдельной организации они будут свои. И мне очень нравится решение в качестве общего для всех знаменателя выделить именно ответственных за эти меры.
При этом не всегда эта мера, что будет следовать из названия владельца митигации, находится на том же этапе ЖЦ, что и угроза. Например, подавляющее большинство угроз для модели или AI-агентам относятся к эксплуатации. Но за противодействие ответственен разработчик модели, и я думаю, тут имеется в виду проведение состязательного дообучения и т. п.

AI-агенты
Что меня отдельно приятно порадовало - затронута безопасность AI-агентов. При чем на глубоком уровне - проработаны угрозы из-за исполнения действий, из-за мультиагентности, и угрозы для системы, которая эксплуатирует AI-агентов. Например, довольно необычный вектор атаки описывает угроза Ag05, при котором агент может использовать свои инструменты получения информации из интернета, чтобы загрузить вредоносное ПО. Есть даже упоминание каскадных атак в мультиагентных системах, для усиления какой-то исходной атаки-пэйлоада.

Итоговое впечатление
Документ большой. Но, благодаря большому охвату угроз и глубине их проработки, он является хорошим фундаментом для построения частной модели и угроз и, в итоге, системы безопасности для ИИ-моделей. Даже несмотря на то, что рекомендаций по конкретным мерам и инструментам в документе нет.
Возможно, какие-то отдельные моменты не учтены, например, атаки на память агентов, а возможно, их отнесли в другие угрозы, но главное - покрыли.

#llm #papers

Large Language Diffusion Models. Часть 2/2

Продолжаем разбирать, что внутри у китайской модели LLaDA (начинали вот тут).

Обучение (иллюстрации (a) и (b))

Диффузия, как известно, учится восстанавливать объекты из шума. И LLaDA — не исключение. Для каждого батча обучения она сперва генерирует долю токенов t (от 0 до 1), которые хотим зашумить. А затем маскирует токены в батче с этой вероятностью.

Далее модель обучается восстанавливать замаскированные токены. Стадия предобучения и SFT отличаются лишь тем, что в SFT зашумляется только ответ, но не запрос. Чтобы модель умела восстанавливать последовательности разной длины, в обучение специально подкладывается 1% текстов с длинами от 1 до 4096 токенов.

Генерация (иллюстрация (c))

Модель начинает генерацию ответа с запроса и полностью замаскированного ответа — такое состояние соответствует моменту времени t = 1 (начальной стадии восстановления текста). На каждом шаге генерации все замаскированные токены восстанавливаются одним проходом модели (токены выбираются жадно). А затем часть предсказанных токенов вновь маскируется с вероятностью t.

t постепенно уменьшается до тех пор, пока не дойдёт до 0. Итеративный подход предсказал — зашумил позволяет модели лучше обдумать, что именно она собирается генерировать.

Также авторы хорошо отзываются о подходе, где маскирование предсказанных токенов происходит не случайно, с какой-то вероятностью, а детерминировано — маскируется доля t токенов, в которых модель наименее уверена. Этот подход к генерации также совместим с classifier-free guidance, что не может не радовать.

LLaDA — далеко не первая модель, основанная на Masked Language Modelling. Хотя авторы и не предложили миру радикально новый подход, простота и изящность идеи позволила им догнать и перегнать весьма сильные авторегрессионные бейзлайны: LLaMA 2 и 3.

Разбор подготовил ❣ Cydoroga

Душный NLP

Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch

Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.

Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.

Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.

Репозиторий с дз и ноутбуками
Сайт курса
YouTube

#dl #nlp #llm #courses

#llm #agents

Недавно Егор Шестопалов написал пост про MCP, и в комментариях сразу же начали обсуждать минусы этого подхода. Я как раз в отпуске немножко поизучал эту тему и написал свой пост про плюсы, минусы и уязвимости MCP. Разбираем, как подключить Notion к Курсору, из чего состоит каждый MCP-сервер, нужны ли они вообще, а главное чего стоит опасаться при их использовании в ваших приложениях.

Важное дополнение! Если кто помнит, в прошлом году я ездил на SouthHub - эвент в Красной Поляне для CTO/CEO/CPO, мне ооочень понравилось, так что в этом году я продолжаю сотрудничать с ребятами. Ближе к делу расскажу про саму тусовку, а пока немного про прикольный эвент, который будет уже завтра - мок-интервью на позицию CTO в ИИ-отдел. Жанр публичных мок-интервью у меня ассоциируется с Подлодкой, и это часто бывает весьма познавательно, особенно если вы никогда не проходили собес на таком уровне. На моей памяти это первое публичное интервью на CTO с ML-спецификой, так что любопытно будет посмотреть, как будут валить коллегу.

#Жека #LLM

#behavioral #interview #courses

Смотрел этот курс? Или какой-то похожий?
https://www.educative.io/courses/mastering-leadership-interviews

#graph #courses

Следующая лекция в четверг 24.04 в 18:00
Ссылка будет перед встречей

Тема: Reasoning over knowledge graphs

Слайды:
https://web.stanford.edu/class/cs224w/slides/11-reasoning.pdf
Слайды 2020:
https://snap.stanford.edu/class/cs224w-2020/slides/11-reasoning.pdf

Видео 2020:
1 https://www.youtube.com/watch?v=X9yl0pTP9fY&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=31
2 https://www.youtube.com/watch?v=qaRIBNE-4Ho&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=32
3 https://www.youtube.com/watch?v=Nt66M2OsbCw&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=33

Доп Чтение:
1 Embedding Logical Queries on Knowledge Graphs
https://arxiv.org/pdf/1806.01445.pdf
2 Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings
https://arxiv.org/pdf/2002.05969.pdf
3 Traversing Knowledge Graphs in Vector Space
https://arxiv.org/pdf/1506.01094.pdf

Guardrails для LLM-систем

Сейчас дорабатываем в нашем продукте важную, но часто недооцененную часть любого ИИ-проекта на базе LLM — систему guardrails.

Что такое guardrails и зачем они нужны?

Guardrails — это комплекс мер и ограничений, которые не позволяют LLM выдавать нежелательный, опасный или неправильный контент

Без хороших guardrails ваш продукт может:
- Генерировать токсичный или оскорбительный контент
- Разглашать конфиденциальную информацию
- Выдавать бесполезные или неточные ответы
- Уходить от основной темы диалога
- Давать рекомендации, противоречащие ценностям компании или законам

Основные виды guardrails

1️⃣ Промпт-инжиниринг — базовый уровень защиты через грамотно составленную инструкцию модели.
Работает так себе) Но начать можно с этого.

2️⃣ Валидация входных данных:
- Фильтрация потенциально опасных запросов
- Определение тематик, выходящих за рамки того, для чего система создавалась
- Проверка на jailbreak

3️⃣ Валидация выходных данных:
- Проверка ответов на токсичность
- Фактчекинг через верификационные модели
- Оценка релевантности ответа запросу

4️⃣ Архитектурные решения:
- Мультиагентные системы (где одна LLM проверяет другую)
- Интеграция с внешними источниками данных для верификации
- Модель-судья (judge model) для финальной оценки ответа

Инструменты для реализации guardrails

1️⃣ Открытые библиотеки:
- NeMo Guardrails от NVIDIA
- Guardrails AI
- Langchain Safety Toolkit
- Llama Guard от Meta

2️⃣ Проприетарные решения:
- OpenAI Moderation API
- Azure Content Safety
- Anthropic's Constitutional AI

3️⃣ Самописные решения — наш выбор)

На что стоит обращать внимание при внедрении

🔹 Баланс безопасности и функциональности: слишком строгие ограничения могут сделать систему бесполезной.

Мы на одном проекте сильно зарезали скор — на огромное кол-во нормальных вопросов система переставала отвечать (

🔹 Прозрачность: пользователи должны понимать, почему система отказывается отвечать на определенные запросы

🔹 Кастомизация: guardrails должны соответствовать специфике вашего продукта и отрасли

Именно по этому мы выносим настройки в пользовательский интерфейс, чтобы админ мог гибко настроить и протестировать все, не дергая разработчиков

Guardrails — это не просто мера безопасности, а вклад в качество продукта. Они помогают создать систему, которой пользователи могут доверять.

❓Какие методы защиты используете вы в своих LLM-приложениях?

(схема взята с вот этого сайта)

@alexs_journal

#llm

#Petprojects #Computer_vision #13дней

Где-то месяц назад я был на Union Meetup, где познакомился с Володей. В моменте я не успел с ним плотно познакомится, а самое интересное я начал узнавать из его тг-канала. Помимо того, что он ведет очень крутой образ жизни, так и у него есть афигенный бот Емеля. Он по фотографии может определять калорийность продуктов, что очень помогает в подсчете КБЖУ и 100% будет полезна тем, кто следит за питанием.

Так вот о чем я... Если уже есть реализация калорийности, почему нам не пойти чуть дальше и по фото находить артикулы вещей по WB. У этого проекта точно есть бизнес-значимость, да и клиентскую базу мы быстро найдем(от простых обывателей до стилистов, дизайнеров и перекупов). Ну что ж, давайте писать MLSD💗

1⃣ Формулировка проблемы
ML-задача: гибридная система
🧍 Обнаружение одежды на любом фото — YOLOv8
📦 Поиск похожих вещей из базы WB — через эмбеддинги
🖼 Дополнительно: сравнение самих изображений (image similarity metrics)
Итоговая метрика — комбинируем сходство в фичах и визуальную близость
Ввод: любое фото с человеком
Вывод: топ-N максимально похожих вещей из Wildberries

2⃣ МетрикиmAP (YOLOv8)
Top-K Accuracy (поиск по базе)
Perceptual similarity (LPIPS / SSIM)
Скорость отклика
blended score (эмбеддинг + визуал)
3⃣ Архитектура системы
Пайплайн такой:
Пользователь отправляет фото
Бот → backend
Backend:
YOLOv8 находит вещи
Из каждой — кроп
Кропы → эмбеддинги (CLIP / ConvNeXt)
Быстрый top-N поиск по базе (FAISS)
Для кандидатов — сравнение картинок через LPIPS / SSIM
Итог: top-3 самых похожих вещей
Модули:
detector.py: YOLOv8 инференс
embedder.py: CLIP / ConvNeXt
index.py: FAISS
similarity.py: визуальное сравнение (LPIPS, SSIM)
re_ranker.py: пересчёт итоговой метрики
wb_parser.py: загрузка каталога WB
bot.py, server.py: интерфейс и API

4⃣ Сбор и подготовка данных
YOLOv8: размечаем датасет одежды с разных фото (street / соцсети / fashion lookbooks)
WB база:
Скачиваем карточки
Фотки товаров → эмбеддинги
Храним оригиналы для сравнения
Фокус: обогащать базу и следить за качеством карточек

5⃣ Feature Engineering
Resize + нормализация кропов
CLIP эмбеддинг → быстрая фильтрация
LPIPS / SSIM между оригинальным кропом и картинками-кандидатами
Комбинированная метрика:
score = α * similarity_in_features + β * image_similarity

6⃣ Обучение и оценка
YOLOv8: дообучаем под задачи детекции одежды
CLIP / ConvNeXt: pretrained
Ручная проверка выдачи: насколько "похоже" выглядит подбор


7⃣ Telegram API
Пользователь просто шлёт фото — и получает:
🧍список вещей на фото
🔗 артикулы + кнопки WB
🔄 “Похожие”, “Подобрать капсулу”, “Запомнить”

8⃣ Деплой и обновление
FastAPI + Docker
Хостинг: Railway или VPS
Регулярное обновление базы артикулов
Мониторинг качества: фидбэк от юзеров

❤️ - Сделать MLSD по LLM

#ml #systemdesign #petproject

Оцифровал свою библиотеку из 480 книг в Obsidian. Цундоку, шелфи и антибиблиотека

YouTube | VK | Rutube | Платформа

0:00 Оцифровал свою библиотеку в Obsidian
2:30 Книги, которые сейчас читаю
3:50 Книги к покупке и TODO
4:44 Прочитанное в текущем году
5:30 Книги по IT
8:10 Книги бизнесовые
12:15 По каждой книге пишу, откуда о ней узнал
13:30 Книги бизнесовые
14:01 Книги по публичности
15:47 Книги по EdTech
16:34 Книги про то,. как жить
19:21 Художественная литература
20:15 Исторические книги
20:34 Книги по дизайну, AI и пр.
21:13 Как это сделано
23:08 Зачем мне всё это?
28:38 Цундоку
30:33 Антибиблиотека
32:53 Шелфи и книги как отражение пути и стремлений человека
34:34 Наш книжный сервис rroom

#interesting

Сбор данных и разметка: как с нуля собрать хорошие данные под реальную ML-задачу?

Хорошие данные — залог успеха.Но на практике это недели и месяцы разметки, потраченные ресурсы, спорные инструкции и баги.

Хорошая новость: эти проблемы уже решаются — с помощью LLM, гибридных пайплайнов и продуманных процессов.

В статье расскажем, как меняется подход к разметке и что уже работает на практике:
- как использовать LLM в роли разметчика и быстро получить данные
- где всё ещё нужен человек и зачем
- как выстроить крауд-пайплайн, которому можно доверять
Плюс: советы, хаки и кейсы с цифрами.

Читайте подробнее по ссылке!

#dl #cv #datasets

#llm

Дядя помнит, когда приму курил его дед. А теперь "раскуривать" новый распределённый аналог llama.cpp нам.

So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)

В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.

Подробнее тут: https://huggingface.co/papers/2504.08791

#dl

#geo #recommender

Продуктовому аналитику важно уметь решать продуктовые кейсы. Это навык, который проверяют на собеседованиях, обсуждают на встречах с продактами и тренируют в работе каждый день.

Недавно наткнулся на воркшоп с разбором реальных продуктовых кейсов — практичная штука (там есть ответы + годные мысли).

Структурность ответа — показатель успеха. Весь кейс должен быть структурным, все должно быть связано (на это я сам натыкался, когда получал фидбеки по продуктовым секциям). Может быть очень сильный поток мысли, а структуры, которая может помочь в решении — нет.

1️⃣ Кейс

Вы продакт, который отвечает за корзину и метрики корзины.

Одна из ваших метрик — это доля выкупа заказанных вещей, т.е. те вещи, которые выкупил пользователь, которые заказал.

🍪🍪 Например, человек может заказать 10 вещей, но выкупить 4 штуки, а 6 уедет обратно.

Представим, что показатель процента невыкупленных товаров находится на уровне 10% — это означает, что 10 процентов пользователей не выкупают товар который заказал.

⬆️ Наступил май, и данный показатель стал аккуратно расти 12-15-20-25 процентов.

😨 В течение 2 недель дорос до 30 процентов.

И нужно разобраться куда копать и что смотреть, чтобы понять?

Какие гипотезы могут быть и повлияли на текущую ситуацию?

Если скажешь про A/B-тест. Не уверен в гипотезе, но готов тратить деньги. Важно проерить гипотезу без разработки, а на что можно посмотреть уже сейчас

Давайте проведем исследования, опрос, A/B тестирование выглядит странно, нужно обращаться к прокси-метрикам

2️⃣ Кейс

Вы продакт одного из классифайдов, отвечаете за звонки/контакты.

🤪 Основная задача: сделать так, чтобы эти метрики росли и не падали.

Другая команда решила добавить в выдаче на карточку оффера — отзывы о продавце, т.е. начала показывать рейтинг того или иного продавца (раньше, он был спрятан в карточке).

🆎 Другая команда по честному провела A/B тест, и получилось так, что A/B Тест уменьшил количество контактов на 30%.

🔽Ваша целевая метрика (контакты) упала.

Что делать с A/B-Тестом и на основе чего принять решение?

3️⃣ Кейс

Вы продакт какого-то классифайда (например, Недвижимость) и так получилось, что вы отвечаете за всю выручку данного классифайда.

У вас есть несколько сильных конкурентов, и вы не один на рынке, ваши услуги стоят достаточно дорого, дороже чем у других = вы самые дорогие.

📰 Основной способ заработка, это публикация объявления и дополнительное продвижение.

Публикация объявления, составляет около 80% всей прибыли сервиса.

Значительная часть ежегодного прироста выручки обеспечивается за счет повышения цен 2 раза в год.

😏 Придумать стратегию, которая позволит направлению вырасти на 20-30 по выручке в ближайший год, не потеряв долю относительно конкурентов.

Подумайте, как бы вы ответили на каждый из кейсов. Что проверили бы? Какие данные подняли бы в первую очередь?
Такие вопросы часто встречаются на собеседованиях — полезно поразмышлять и прокачать продуктовое мышление.

Если пост соберёт 100 🔥, расскажу, как я сам проходил собеседования с продуктовыми кейсами — какие были вопросы, как готовился и что помогло.

#analytics #interview

Локационные задачи: где размещать объекты с умом?

Выбор мест для магазинов, складов, больниц или станций — это локационные проблемы. Их цель — найти оптимальные точки, чтобы минимизировать затраты или максимизировать охват. Три ключевые модели:

1. LSCP — когда нужно гарантированно покрыть всех клиентов (например, пожарные станции в городе).
2. MCLP — когда ресурсов мало, а охват нужно максимизировать (например, аптеки в районе).
3. P-median — когда важно сократить среднее расстояние (например, логистические хабы для доставки).

Где применить?
- Ритейл — где открыть магазин?
- Логистика — где разместить склады?
- Госуслуги — как распределить больницы?
- Телеком — куда ставить вышки (тут также помогают диаграммы Вороного, о которых писала выше)?

Все эти модели уже реализованы в библиотеке spopt из PySAL — просто подставьте свои данные. Я поделюсь нашей черновой теоретической презентацией по принципу работы этих "моделек".

@urban_mash

#ml

#llm

ignore-topk: новая регуляризация для борьбы с деградацией LLM во время файнтюнинга (by DeepMind)

При дообучении языковые модели частенько портятся. Рисёрчеры из DeepMind показали, что проблема связана с тем, что LLM, пытаясь запомнить новый факт, начинает использовать лёгкие shortcut-ы вместо аккуратного внедрения новых знаний в веса. Она просто «раскладывает» новую информацию по уже знакомым ей понятиям (казалось бы это хорошо, но нет). Такое явление они назвали "праймингом" (aka разложение числа на простые множители), и из-за него LLM начинает путаться в фактах, выдавая новую информацию где не просили.

Авторы этой статьи предлагают потенциальное решение — регуляризацию ignore-topk. Идея до гениальности простая:
- Делаем обычный шаг файнтюнинга и смотрим на обновления весов (Δω).
- Отбираем top-k% самых больших обновлений и… просто удаляем их (умножаем на 0).
- Используем только небольшие изменения весов, которые не содержат шорткатов для быстрой меморизации.

Зачем так странно?
Оказывается, самые большие градиенты как раз и отвечают за «грязное» быстрое запоминание через прайминг. Игнорируя их, мы заставляем модель учиться медленнее и аккуратнее. При этом прайминг уменьшается на 90-95%, а способность запоминать новые факты не страдает.

Но авторы конечно молодцы, сами придумали бенчмарк, сами свой подход измерили, а на другие "learning without forgetting" методы вообще забили. Поэтому не могу сказать, что ignore-topk лучше чем, например, Child-Tuning или EWC, но выглядит прикольно, я его точно попробую 🤷‍♂️

Статья

Прочитал недавно вышедшую “Как делать хорошие игры. От идеи до запуска” Петра Прохоренко, ветерана российского геймдева («Сталинград», «Блицкриг 3», «Танки Онлайн», «Days after» и т. д.)

Небольшая, очень практическая книжка, битком набитая как рекомендациями, так и просто примерами из опыта и байками. В девяти главах рассматривается путь от идеи игры, придумывания геймплея и препродакшена (Петр предлагает свою методологию) до сбора команды, управлениями проектом и пивотов. Есть даже история проекта Days After, как пример тезисов из прочих глав.

Мне понравилось. Несмотря на фразу “донатные помойки” на первых страницах и общую разговорную манеру текста. Отрезвляющие рекомендации типа “внимательно изучайте, во что хотят играть пользователи”, “не делайте игру на свои [последние] деньги”, “осторожнее с экспериментальным геймплеем” и тому подобное. Ну и в целом легализация пивотов, гемдизовских и менеджерских факапов и прочих случающихся вещей в нашей жизни. Вообще, книга местами правда похожа на разбор полетов, как автор и говорит в интервью App2Top.

По аналитике там практически ничего нет, но прочитать полезно для понимания специфики индустрии и развития эмпатии к продюсерам и их повседневному аду.

#books

#books #interesting

🌸Неделя Научных агентов🌸
#nlp #про_nlp #nlp_papers

Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку. 

🌸Ассистент AlphaXiv

Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore

🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning

DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.

Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists

Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки с экспонентами.
🟣https://arxiv.org/abs/2503.22444

🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research

Могут ли агенты генерировать новые идеи? В целом что-то могут,  но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487

Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов

#agents #llm

Дядя помнит, когда приму курил его дед. А теперь "раскуривать" новый распределённый аналог llama.cpp нам.

So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)

В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.

Подробнее тут: https://huggingface.co/papers/2504.08791

#llm

#audio #petproject

#llm #petproject

Помощник читателя: визуализируем сюжет

Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем:

- граф связей между героями;

- хронологию событий;

- карту мест действия. Читать далее

#python #machine_learning #artificial_intelligence #natural_language_processing #литература | @habr_ai

#llm #code #prompt

Хозяйке на заметку:
git add . && git diff --cached | ollama run llama3.1:8b "Write a message based on the following changes,
only describe what was changed, without quotes:\n\n$(cat)" | xargs -I {} git commit -m "{}" && git push

#petproject #audio

Вот такие проекты должны быть!

Мой публичный API-сервер для распознавания речи

Рад представить мой первый публичный OpenAI-совместимый API-сервер, доступный по адресу: https://api.rpa.icu

В настоящее время сервер предоставляет функциональность автоматического распознавания речи (ASR), используя модель Whisper Large V3 Turbo, запущенную через docker-whisper-server и квантованную до q4_0.

Система распределяет нагрузку по трём видеокартам: двум Intel Arc A770 и одной NVIDIA RTX 3050, обеспечивая высокую производительность и точность распознавания.

🔧 Как использовать API

Вы можете бесплатно использовать данный API с любым клиентом OpenAI, например, через Python-библиотеку openai.

Для работы с сервером необходимо указать адрес сервера и токен:
OPENAI_BASE_URL=https://api.rpa.icu
OPENAI_API_KEY=https://t.me/evilfreelancer

📄 Пример запроса с использованием `curl`

curl https://api.rpa.icu/audio/transcriptions \
-H "Authorization: Bearer https://t.me/evilfreelancer" \
-F file=@your_audio_file.mp3 \
-F model=large-v3-turbo \
-F language=ru

Замените your_audio_file.mp3 на путь к вашему аудиофайлу, а в параметре language можно указать язык аудио (например, ru для русского, en для английского и т.д.), если ничего не указать, то язык будет определён автоматически.

У сервера есть ограничение на максимальный размер файла равный 50Мб.

🐍 Пример использования на Python

Пример скрипта на Python для взаимодействия с API доступен по ссылке: openai-asr.py. Скрипт позволяет передавать аудиофайл, указывать формат ответа (text, json, srt, verbose_json), модель и язык.

Если у вас возникнут вопросы или потребуется помощь, вы можете задать свой вопрос в чате канала Pavel Zloi.

#rpa

Прослушал курс про LangGraph от создателей LangChain

Недавно завершил обучение по курсу "Introduction to LangGraph" от команды разработчиков LangChain. Это отличный ресурс для тех, кто хочет продавать свои флоу под видом модных агентских систем, но пока ещё не знает как их делать.

В курсе подробно рассматриваются следующие темы:
- Построение сложных структур с использованием множества инструментов.
- Реализация операций выбора для передачи данных.
- Работа с короткосрочной и долгосрочной памятью.
- Интеракция с пользователем.

Курс рассчитан на 6 часов, но если проходить его, как я, по часу в день, то можно управиться за неделю.

#llm #courses

#llm #paper

С большим удовольствием прочёл публикацию "Моделирование экономического поведения с использованием LLM: сравнение моделей в кейнсианском конкурсе красоты" за авторством Петра Паршакова из ВШЭ с которым некоторое время назад мне довелось поработать над одним любопытным проектом.

Но вернёмся к публикации, в ней описывается экономический эксперимент под названием "кейнсианский конкурс красоты", а так же производится сравнение того как его проходили люди с тем как его проходят большие языковые модели (LLM).

На мой скромный взгляд в списке проанализированных моделей мне было бы интересно увидеть не только представленные модели, но и некоторые другие, например gpt-4o и gpt-o1, а так же deepseek-v3 (старая и новая), а так же v2, плюс любопытно повторить тест на отечественных моделях типа gigachat, yandexgpt, t-pro и t-lite.

Но в целом для первой публикации на Хабр очень хорошо.

#llm

#parsing