Опубликовал третью часть обзора технологий базы знаний для ИИ - на этот раз получилось совсем коротенько, авторы объясняли, какие есть технологии для оптимизации уже извлеченной из базы знаний информации перед передачей этой информации в языковую модель (чат-боту).

Эти механизмы обычно остаются скрыты от обычных пользователей — для большинства из них работа ИИ это "магия". Для моих читателей — нет :).

Кстати, о магии. Авторы буквально с первых строк добавляют ложку дегтя в свой рассказ и объясняют феномен "lost in the middle" - это когда вы построили базу знаний, она вам извлекла кучу полезных фактов и передала в модель, а модель запомнила только первые и последние. Почему так происходит? Ответ в статье.

Как обычно, английские термины пристегнуты к жирным терминам — для удобства переводчиков.

https://habr.com/ru/articles/904232/

Как и обещал, опубликовал вторую часть разбора технологий RAG (баз знаний при работе с ИИ-переводом). Приглашаю почитать, обсудить в комментариях.
Также подвесил к терминам инфобоксы — на них можно тыкать мышкой и смотреть исходный термин и небольшое пояснение к термину.

https://habr.com/ru/articles/902976/

Чем отличаются «галлюцинации» от «иллюзий» в контексте ИИ-перевода?

Готовя 2-ю часть этой статьи, наткнулся на любопытную пару терминов из заголовка, которую посчитал сначала за ошибку ИИ-перевода.


Про галлюцинации, думаю, слышали многие — это когда языковая модель (или упрощенно ИИ) сам придумывает факты и правдоподобно их подает.

Что касается иллюзий — то эта ошибка ИИ связана с базой знаний (RAG). Как вы возможно читали в статье по ссылке, при помещении материалов в базу знаний, они разбиваются на чанки - кусочки текстов, каждый из которых векторизуется (превращается в векторное представление или, если упрощенно, числовую матрицу признаков и смыслов).

Потом, когда вы делаете запрос в языковую модель с подключенной базой знаний, ваш запрос (промпт) векторизуется и его векторы сравниваются на похожесть с векторами из базы знаний, и те фрагменты, вектора которых более или менее схожи с присланными из промпта — добавляются в запрос, тем самым обогащая промпт.

Но есть большая проблема в том, как разделить на чанки — мелко или крупно? Бывает так, что мелко нарежешь, и получится, что "казнить нельзя" уйдет в один чанк, а "помиловать" - в другой.
В итоге, когда к вашему промпту подтянется один из этих чанков, вместо целиковой фразы "казнить нельзя помиловать", модель будет оперировать неполной информацией. Возникнет иллюзия.

В чем отличие от галлюцинации? В галлюцинации модель сама выдумывает факт, а в иллюзии - она делает неправильный вывод, опираясь на некорректно обработанную информацию.

Подробнее почитаете уже в статье, которую, надеюсь, сегодня донести до Хабра.

Иногда студенты спрашивают: "Почему, когда закидываешь в модель текст на перевод, ИИ ведет себя по-разному: где-то сильно перевод сжимает, а где-то передает, как надо?"

Дело в том, что ИИ оперирует только числами, а не смыслами. Для нее каждое слово - это определенный вектор (т.е. последовательность чисел, которые выступают чем-то вроде координат в смысловом пространстве). Следовательно, одно предложение - это скачки по этим смысловым координатам (красная линия).

Несколько предложений - еще больше скачков.

Когда вы в модель закидываете страницу, модели чисто математически проще посмотреть, куда в конечном итоге выходят смысловые координаты, и она выводит такой текст, который максимально коротким путем приходит из начальной координаты в конечную, без зигзагов (зеленая линия).

Отсюда вывод: хотите, чтобы модель не подъедала нюансы? Сокращайте объем текста в промпте.

Есть определенные техники промт-инжиниринга, как преодолеть это ограничение, но это я уже рассказываю и показываю студентам на занятиях.

ПРАКТИКА ДЛЯ ТЕХ, КТО ИНТЕРЕСУЕТСЯ ИТ- и ИИ-переводом.

Для тех, кто хочет глубже понимать возможности ИИ для перевода или поучиться ИТ-переводу на реальных текстах, могу сделать такое предложение проходить у меня практику по переводу научных статей на эту тему.

Почему научных? Потому что именно на них можно хорошо увидеть, в чем ИИ силен, а в чем беспомощен + прокачать скиллы. Кроме того, можно эти я буду публиковать на Хабре с упоминанием тех, кто мне помогал (можете добавлять строчки в свои резюме и показывать клиентам).

Таким образом я могу предложить следующее:
1. Помогу разобраться с использованием ИИ в работе (вместе настроим ваше рабочее место: агент/ассистент + база знаний + промт-инжиниринг).
2. Предложу статьи на перевод, которые связаны с возможностями ИИ и профессией переводчика.
3. Вместе сможем разобрать технический смысл выбранной вами статьи.
4. Спланируем работу по статье, чтобы подготовить ее для публикации в Хабр.
5. Буду принимать от вас переведенные фрагменты и давать по ним обратную связь (так мы будем выявлять, где ИИ хорошо справился, а где за ним нужно больше человеческого контроля - это понимание пригодится на реальных проектах).
6. Опубликуем статью на Хабре (сможете добавить к себе в портфолио).

По деньгам:
За 1-й пункт - 5 тыс. руб., остальные - по 1 тыс. руб. за часовое занятие/консультацию/проверку.
Чек от ИП или самозанятого, если нужен.

Пишите в личку: t.me/bartov-e (Евгений).

Сегодня проводил занятие со студентами по ИТ-переводу, которых попросил перевести через ИИ и отредактировать перевод. С редактурой дело как-то не пошло, поскольку студенты слишком понадеялись на сообразительность ИИ. А зря - смысловые косяки вылазили в каждом абзаце, иногда пачками. Мелкие, но досадные. Для того, чтобы они не вылазили, я бы предложил тем, кто желает вкусить блага ИИ-перевода, перед началом этого самого ИИ-перевода сделать один важный этап, тоже можно с помощью ИИ — самоликбез.

Это значит, что сначала вы прогоняете весь исходный текст через промпт-объяснялку, чтобы ИИ вам объяснил технический смысл текста, а потом только вы приступаете к его переводу, чтобы уже по ситуации корректировать те фразы, где ИИ, мягко выражаясь, привирает.

За базу ликбез-промпта могу предложить свой (я его использую при подготовке к написанию технических статей — это сути не меняет), но вы его адаптируйте под себя:

### Роль:
1. Вы — **технический переводчик**, изучающий ИТ для последующего написания экспертной статьи на русском языке.
2. **Цель перевода:**
- 2.1. Проанализировать передаваемый текст с точки зрения описываемых концепций, технологий, приемов, практик, устройства, принципов работы и дать описание к каждому такому термину при первом упоминании в фигурных скобках в форме, понятной второкурснику.
- 2.2. Использовать терминологию, принятую на платформе https:\\habr.com.

---

### Инструкции:
1. **Этапы работы:**
- Пронумеровать каждое предложение исходного текста.
- Выбрать все термины, связанные с ИТ (в первую очередь аббревиатуры и узкоспециализированные термины).
- Перевести предложения на русский, соблюдая:
- Логическую связность.
- Единообразие терминов (согласно глоссарию).
- Стиль, характерный для Habr.
- **Адаптация для целевой аудитории:**
- Выделить **жирным** русскоязычные термины.
- При первом упоминании технического термина добавить:
- [английский эквивалент].
- {развернутое пояснение, из которого читателю становится понятно устройство, принципы, механизмы работы + решаемые задачи/проблемы/вызовы}.


2. **Формат вывода:**
- Таблица с колонками:
| № предложения | Исходное предложение | Адаптированный перевод предложения с подробными пояснениями по сложным терминам|
- После таблицы — сводка:
*Пример:*
"Принято в обработку 15 предложений, переведено 15 предложений, из них адаптировано 7 предложений. "
- После сводки — резюме по обработанным терминам:
*Пример:*
| Термин на русском | Термин на английском | Использованное объяснение |
| Пайплайн RAG | [Retrieval-Augmented Generation] | {Retrieval-Augmented Generation (RAG) — это гибридная ИИ-система, которая сначала ищет информацию в базах данных (как поисковик), а затем генерирует чёткий ответ (как ChatGPT). В отличие от обычных языковых моделей, RAG всегда опирается на актуальные источники, избегая выдуманных фактов. Технология применяет векторный поиск для быстрого нахождения релевантных данных и языковые модели для их обработки. Используется там, где важна точность: в поддержке клиентов, медицине или юриспруденции. По сути, RAG — это "эксперт", который сначала проверяет факты, а потом объясняет их простым языком.}|.


---

### Пример реализации в форматированной таблице:

| № предложения | Исходное предложение | Переведенное предложение |
| 001 | The RAG pipeline improves LLM outputs. | **Пайплайн RAG** [Retrieval-Augmented Generation] {метод дополнения генерации данными} улучшает результаты работы **LLM** [Large Language Model] {языковой модели на основе ИИ}. |


### Текст на анализ и разбор

(здесь могла бы быть ваша реклама, но на самом деле вставляем кусочек разбираемого текста)

Пришел запрос на индивидуальное обучение по переводу в теме ИИ.

Составил такую программу:

1. Чат-боты и NLP (Диалоговые системы, intent-распознавание, мультимодальные ассистенты.)
2. Рекомендательные системы (Персонализация, A/B-тестирование.)
3. Компьютерное зрение (CV) / Сегментация изображений, обнаружение аномалий, промышленное применение
4. Генеративный ИИ (Генерация текста, изображений, видео, настройка генерации)
5. Автономные агенты (GPT, RAG, планирование задач)
6. MLOps/AIOps (Развертывание моделей, мониторинг, feature store.)
7. ИИ в кибербезопасности (Обнаружение атак, анализ поведения, adversarial attacks.)
8. Мультимодальные модели (Обработка текста, изображений, аудио в одной системе.)

Если кому-то интересно заниматься по такой же программе, пишите.
По умолчанию я делю англо-русский перевод и русско-английский пополам, но это обсуждаемо.

Учитывая, что ИИ может делать простые переводы почти без человека, акцент в практикуме делаю на сложных и серьезных публикациях (типа arxiv.org). Их не стыдно, если что, вешать на Хабр, я там укажу имя слушателя, будет проект для портфолио.

Вопросы в личку: t.me/bartov_e или в мыло bartov-e@ya.ru