Продолжение (Часть 2)

Создание тестового полигона

🧑‍💻Вручную собирать тысячи релевантных, но при этом безопасных для тестов документов — задача сложная. Поэтому для проверки скорости сортировки я написал вспомогательную программу-генератор. Ее задача — создавать множество тестовых файлов, имитирующих всевозможные судебные и досудебные документы, с которыми юристы сталкиваются в своей практике. Это позволило нам получить объем данных из 1000 разнообразных файлов (без содержания) для нагрузочного тестирования.

⏱️Первый результат: 1000 файлов было отсортировано по категориям документов всего за 40 секунд. Результат — на скриншотах.

🚀Считаю, это отличный старт для проекта, который может серьезно упростить рутинную работу юристов. Впереди много работы, но начало положено!

💡 Скоро выложу программу для тестирования — каждый сможет попробовать её в деле.

LexPro-1.0: Большая языковая модель для китайской юридической сферы

LexPro-1.0 – это специализированная большая языковая модель (LLM) первого поколения, разработанная специально для китайской юридической сферы. Эта модель призвана решить две ключевые проблемы существующих юридических LLM:
1. Недостаточный учет юридической экспертизы и логики при разработке и оценке
2. Ограниченность обучающих данных для юридической сферы

📚 Масштабная юридическая база данных

Разработчики LexPro-1.0 создали впечатляющую базу данных:
• Миллионы юридических документов из 31 провинции Китая
• Охват более 20 видов преступлений
• Акцент на приговорах (判决书), вынесенных после 2020 года для обеспечения актуальности
• Тщательный отбор только высококачественных документов

Данные были структурированы в формате JSON с включением важных метаданных:
• Индекс документа
• Тип документа
• Информация о процедуре
• Особенности дела

🧠 Двухэтапный процесс обучения

Этап 1: Пост-обучение
Модель прошла многоэтапный процесс пост-обучения:
1. Контролируемая тонкая настройка (SFT)
• Базовая модель: DeepSeek-R1-Distilled (версии 14B, 32B и 70B)
• Первая стадия: использование базовых юридических знаний в формате вопрос-ответ
• Вторая стадия: усложнение данных с помощью LLM для генерации более сложных вопросов
• Функция потерь: кросс-энтропия

2. Обучение с подкреплением (RL)
• Метод: GRPO без явного контроля
• Система вознаграждений:
o За формат (соответствие структуре юридических документов)
o За процесс (пошаговое объяснение рассуждений)
• Результат: более структурированные и понятные ответы

3. Дополнение на основе поиска (RAG)
• Использование BERT-based модели для вычисления эмбеддингов
• Разбиение текста на сегменты
• Извлечение релевантных юридических элементов на основе косинусного сходства

Этап 2: Вывод
На этапе вывода также применялся RAG для повышения эффективности и точности.

📊 Методы оценки эффективности
Для оценки модели использовались различные метрики:
• Качество текста: ROUGE (1, 2, L) и BERTScore
• Точность извлечения юридических элементов: accuracy, recall, precision и F1-score
• Эффективность RAG: overlap accuracy

📈 Результаты и сравнение с другими моделями
Сравнение с другими моделями (Qwen, GPT-4) подтвердило преимущества LexPro-1.0 в задачах, связанных с китайским законодательством.

💡 Интересные нюансы исследования
• Выбор типов документов: Исследователи специально отдавали предпочтение приговорам, а не другим типам юридических документов. Это важный методологический выбор, так как приговоры содержат наиболее полное изложение фактов, применяемых норм и юридической логики.
• Практическая направленность: Задачи разрабатывались в соответствии с реальными рабочими процессами прокуратуры Китая, что делает модель действительно применимой на практике, а не просто академическим экспериментом.
• Проблема "reward hacking": Это технический, но очень важный нюанс процесса обучения. Авторы обнаружили, что при обучении с подкреплением модель находила "лазейки" для получения высокого вознаграждения, не решая задачу должным образом — это распространенная проблема ИИ, которая особенно опасна в юридической сфере.
• Языковые ограничения базовых моделей: Обнаружено, что модели на основе Llama (включая DeepSeek) имеют ограниченную поддержку китайского языка, что создает дополнительные сложности при разработке юридических LLM для китайского рынка.

⚠️ Ограничения и будущие направления
Несмотря на достигнутые результаты, остаются проблемы:
• Галлюцинации, особенно критичные для юридической сферы
• Интерпретируемость решений модели
• Вычислительная сложность при работе с длинными документами

Авторы планируют:
• Расширить функциональность (например, добавить рекомендации похожих дел)
• Создать специализированную базу знаний по законодательству
• Улучшить адаптивность модели к сложным сценариям юридических рассуждений

📚Доступность и источники
Репозиторий проекта: GitHub: LexPro
Исследование доступно на arXiv: arXiv:2503.06949v2 [cs.CL] 11 Mar 2025
❗ На данный момент модель недоступна для открытого доступа.

🔍Демонстрация работы чат-бота ⬆️

Друзья, хочу поделиться опытом создания персонального юридического ассистента на базе ИИ с нуля.

🧑‍💻Разработал инструмент на Python с использованием Google Gemini API, который умеет отвечать на вопросы, работать с документами разных форматов и обучаться под конкретные задачи. Никаких готовых коммерческих решений — только собственные руки и нейросеть!

🚀Проект доказывает, что юристы могут создавать эффективные ИИ-инструменты самостоятельно.

🔍Ниже прикладываю скриншоты демонстрации работы чат-бота.

https://telegra.ph/Kak-ya-sozdal-personalnogo-yuridicheskogo-assistenta-na-baze-II-03-27

Материалы Конференции об автоматизации работы юриста "LegalTech Day #2" от 20.03.2025 г. 📊🤖

Друзья, у меня для вас есть доступ к материалам недавней конференции об автоматизации работы юриста.

В архиве собраны презентации ведущих экспертов по следующим темам:
• Бенчмаркинг юридической функции – 2024
• Что нам мешает внедрять технологии? Зачем юристу GPT?
• Взаимодействие нотариуса с информационными системами
• Машиночитаемые доверенности: нормативно-правовое регулирование и практика
• Искусственный интеллект на службе юриста по интеллектуальным правам
• ИИ-решение для автоматизации проверки договоров: как экономить 70% времени
• LegalTechWay технологии для оптимизации договорной работы
• PrivacyLine как навести порядок в учете процессов обработки персональных данных
• GigaLegal: путь от RAG к агентам

📚Кроме того, в архиве есть учебник "Информационно-технологическое обеспечение юридической деятельности (LegalTech)" коллектива авторов под редакцией д.ю.н., доц. А.В. Минбалеева.

🗄 Архив доступен по ссылке: https://upload.garant.ru/download/pub/20.03.25.zip (только 7 дней, успевайте скачать!)

Что из этого списка вам наиболее интересно? Про какие инструменты хотели бы узнать подробнее в следующих материалах?

Новый подход к AI в юриспруденции: минимизация "галлюцинаций" в правовом анализе

Проблема: ненадежность AI в юридической практике
Вспомните нашумевшее дело Mata v. Avianca, где адвокат подал заявление с несуществующими судебными прецедентами, сгенерированными ChatGPT. Подобные случаи демонстрируют опасность использования стандартных AI-моделей в юриспруденции.

Исследования показывают, что даже лучшие языковые модели допускают значительное количество ошибок при анализе юридических текстов, особенно при интерпретации сложных условий и применении правовой логики.

🔍 Новое решение от Stanford CodeX
Исследователи предложили нейро-символический подход, объединяющий:

- Способность AI понимать естественный юридический язык
- Логическое программирование для точных и прозрачных выводов

📈 Эксперименты на реальных страховых контрактах
Тестирование на полисах Chubb Hospital и Stanford Cardinal Care с использованием 7 современных AI-моделей (включая GPT-4o, Claude-3.5, OpenAI o1) выявило:

Три метода в сравнении:
1️⃣ Прямой запрос к AI
Точность: 78-88%
Проблемы: непоследовательность, ошибки в сложных случаях

2️⃣ Автоматическое кодирование контракта
Точность: 40-89%
Проблемы: логические ошибки, неоднозначные формулировки

3️⃣ Управляемое кодирование с экспертной структурой
Точность на простых контрактах: до 100%
Точность на сложных контрактах: 87-95%
Преимущество: полная прозрачность решений

Показательный пример:
Пункт полиса: "Исключается покрытие случаев, связанных со службой в полиции"
Случай: "Полицейский был госпитализирован из-за укуса сына во время отдыха"
❌ Стандартные AI: отказали в покрытии, ошибочно связав профессию с исключением
✅ Новый метод: правильно определил, что травма не связана со службой

⚖️ Практическая значимость для юристов:
Анализ договоров: выявление неоднозначностей и противоречий
Страховые споры: объективная оценка сложных случаев
Комплаенс: автоматизированная проверка соответствия нормам
Due Diligence: точный анализ объемных документов

💡 Ключевой вывод
Исследование доказывает: для надежного юридического анализа недостаточно просто использовать AI. Необходим гибридный подход, объединяющий AI с логическим программированием и экспертной структурой.
Важное наблюдение: только новейшие "рассуждающие" модели (особенно OpenAI o1) показали по-настоящему высокую точность в сложных случаях.

📚 Источник:
«Towards Robust Legal Reasoning: Harnessing Logical LLMs in Law»
Авторы: M. Kant, S. Nabi, M. Kant, R. Scharrer, M. Ma, M. Nabi (Stanford CodeX, Caltech, PaxAI)
arXiv:2502.17638

Как вы оцениваете перспективы таких инструментов в своей практике?

#LegalTech #ИИвюриспруденции #юридическаяаналитика

📌 Скрипт для составления описи Почты России 📄📦

Коллеги, вы наверняка сталкивались с необходимостью составлять опись вложения при отправке документов через Почту России. Этот процесс можно и нужно автоматизировать!

💡 Я написал скрипт для Google Docs, который:
✅ Создаёт готовую опись из выделенного текста
✅ Автоматически формирует таблицу с предметами и объявленной ценностью
✅ Убирает нумерацию и маркеры списка — текст остаётся чистым (независимо от того, нумерация указана вручную или маркером)

🔧 Как это работает?

1️⃣ Вы выделяете текст с перечнем вложений (можно маркированный список или просто абзацы).
2️⃣ Запускаете скрипт через меню “Почтовые документы → Создать опись”.
3️⃣ При необходимости вводите название основного документа (например, “Исковое заявление б/н от 11.03.2025”).
4️⃣ Готово! Скрипт сам формирует таблицу с нужным оформлением и итоговыми подсчётами.

🧑‍💻 Скрипт для Google Docs

🖥Ниже — видео с демонстрацией работы.

🚀 Новый бенчмарк для юридического ИИ: как Китай оценивает RAG*-системы, и что есть у нас?

Проект LexRAG — первый открытый бенчмарк для оценки AI-систем в сфере многоэтапных юридических консультаций. Разработанный для китайского законодательства, он включает:

1,013 многоэтапных диалогов (по 5 вопросов в каждом), аннотированных юристами.
17,228 статей из 222 законов Китая (гражданское, уголовное, семейное право и др.).

Инструменты:
Интеграция с LLM (GPT-4, Qwen-72B) для генерации ответов.
Автоматическая оценка через LLM-as-a-judge (автоматическая проверка ответов по 5 критериям: фактологичность, ясность, логичность, полнота, удовлетворенность пользователя.)

🔍 А есть ли аналоги для РФ?
Прямых аналогов LexRAG, ориентированных на российское право, пока нет. Однако в РФ развиваются другие LegalTech-решения:

КонсультантПлюс / Гарант:
Что умеют: AI-поиск по законам, судебным решениям.
Ограничения: Нет генерации ответов в формате диалога.

GPT-чат-боты:
Пример: Сервисы для предварительных консультаций (например, «Право.ру»).
Проблемы: Часто дают общие ответы без точных ссылок на законы.

СудАкт:
Что умеет: Анализ судебной практики через ML (классификация дел, поиск прецедентов).
Фокус: Прецеденты, а не консультации.

🌍 Другие страны
США:
ROSS Intelligence: Анализ прецедентов через NLP (например, поиск дел в базе Верховного суда).
LexisNexis: Поиск по законам и статьям.Минус: Нет поддержки многоэтапных диалогов и RAG.
ЕС:
EU Case Law: Анализ решений ЕСПЧ.Ограничение: Фокус на документах, а не на диалогах.

❗ Важно: LexRAG — эксклюзивно для китайской правовой системы. Его методология (аннотации юристов, акцент на цитирование законов) учитывает специфику местного законодательства. Для РФ и других стран подобные бенчмарки пока не созданы.
Вместе с тем, создатели заявляют, что планируетсядобавление поддержки английского языка и других правовых систем, а также интеграция симуляций для повышения реалистичности данных

💡 Почему это важно?
RAG-системы могут снизить нагрузку на юристов, автоматизируя рутинные запросы.
Для РФ актуально разработать аналогичный бенчмарк, учитывающий Семейный, Налоговый, Гражданский кодексы и особенности судебной практики.

📌 Итог
LexRAG задает тренд на стандартизацию AI в юриспруденции. России и другим странам есть куда расти — создание подобных систем откроет путь для более точных и надежных AI-решений в праве.

Ссылка на проект:LexRAG на GitHub
Статья на arxiv.org: arXiv:2502.20640v1 "LexRAG: Benchmarking Retrieval-Augmented Generation in Multi-Turn Legal Consultation Conversation"

*RAG представляет собой сочетание традиционных языковых моделей с инновационным подходом: в процесс генерации напрямую интегрируется механизм поиска информации.

#LegalTech#ИИ#Китай#RAG#Юриспруденция

Пример стенограммы судебного заседания, автоматически сгенерированной в AI Studio (Gemini 1.5 Pro) ⬆️

Многие полагают, что достаточно передать языковой модели задачу «на блюдечке с голубой каемочкой», и она выполнит её автоматически. Однако результат часто оказывается далеким от требуемых стандартов, что особенно критично для юристов, где точность и последовательность имеют первостепенное значение.

Современные модели успешно справляются с разовыми запросами, но их возможности по последовательному решению сложных, многоступенчатых юридических задач пока ограничены. Безусловно, при детальной настройке и обучении можно добиться улучшений, однако это требует значительных временных и ресурсных затрат.

В обозримом будущем могут появиться «агенты» на базе языковых моделей, способные работать над задачами в течение продолжительного времени. В таком случае контроль специалиста будет оставаться критически важным: юристам придётся отслеживать процесс, получать регулярные отчёты и корректировать работу системы. Даже самые продвинутые «долгосрочные агенты» не гарантируют абсолютную безошибочность, а значит, ответственность за конечный результат всегда остаётся на человеке.

Аналогично тому, как на производствах обсуждают соотношение роботов и людей при автоматизации, в цифровом пространстве нас ожидает подобная тенденция: специалисты будут управлять и контролировать работу «агентов», особенно в таких сферах, где точность и юридическая обоснованность играют решающую роль.

Хочу напомнить, что языковые модели – это лишь инструменты, а не универсальное решение. Используйте их как вспомогательное средство, всегда проверяйте результаты, и помните, что только вы несёте ответственность за конечный результат.

Если вам интересно узнать больше об основах использования ЛЛМ-моделей, рекомендую ознакомиться с полезным видео, демонстрирующим работу ChatGPT.

https://www.youtube.com/watch?v=7xTGNNLPyMI

Получил отличную обратную связь от сообщества ilovedocs, относительно реализации проекта!

Все сообщения были структурированы в виде обобщенных комментариев:

1. Выбор моделей:
*Советуют использовать более современные модели, такие как Nemo, Deepseek 14b и ниже, Mistral, Qwen, так как они лучше подходят для задач и железа.
*Упоминается, что старые версии библиотек, используемые GPT, могут вызывать проблемы, и нужно вручную проверять документацию.

2. Постановка задачи:
*Задача выявления рисков в договорах слишком широкая и сложная для одного человека или небольшой команды.
*Рекомендуется сузить задачу до конкретной области (например, только аренда) и постепенно расширять функционал.
*Подчеркивается важность четкого определения, что такое "риски" и как их анализировать.

3. Структура кода и подход к разработке:
*Советуют разделять код на модули и функции, чтобы упростить понимание и отладку.
*Рекомендуется сначала выстроить логику работы программы, а затем уже писать код.
*Отмечается, что важно понимать, как работает программа на каждом этапе, чтобы избежать "круговых ошибок".

4. Реализация проекта:
*Проект требует значительных усилий и командной работы, включая юристов, программистов и аналитиков.
*Подчеркивается, что в одиночку или даже в небольшой команде реализовать такой проект крайне сложно.
*Советуют начать с малого, собрать базу данных рисков и лучших практик, а затем постепенно добавлять функционал.

Общие впечатления:
Комментаторы высоко оценивают попытку и делятся своими идеями и опытом.
Отмечается, что проект интересный, но требует более глубокой проработки и ресурсов.

Краткое резюме и советы:
1. Используйте современные модели (Nemo, Deepseek, Mistral, Qwen) и проверяйте документацию библиотек.
2. Сузьте задачу до конкретной области (например, аренда) и постепенно расширяйте функционал.
3. Разделяйте код на модули и функции, чтобы упростить разработку и отладку.
4. Привлекайте специалистов по анализу рисков, математике и бизнес-аналитике для проработки логики и расчетов.
5. Начните с малого: соберите базу данных рисков и лучших практик, а затем добавляйте новые функции.
6. Работайте в команде: проект требует участия юристов, программистов и аналитиков.

Делюсь своим опытом разработки программы для анализа рискованных пунктов договора

Пост вышел довольно объемным, несмотря на мои усилия сделать его как можно более кратким. Поэтому я решил опубликовать его здесь, в более удобном формате.

Если у вас уже был похожий опыт или есть идеи по этой теме, буду рад услышать ваше мнение и обменяться мыслями! 🤝

На этом канале я планирую рассказывать о дальнейшей разработке проекта и делиться новыми инициативами. Подписывайтесь, чтобы не пропустить интересные обновления и полезную информацию! https://telegra.ph/Moj-opyt-sozdaniya-programmy-dlya-ehmocionalnogo-analiza-dogovorov-s-pomoshchyu-II-01-28