Калибровочный датасет для юридического ИИ

Коротко: калибровочный датасет (набор данных для проверки) состоит из тестовых ситуаций без реальных людей. К каждой юрист заранее записал правильный ответ. Сервис получает эти ситуации как обычные обращения, а его ответы сверяют с записанными.

Житейский пример: экзамен по билетам. У преподавателя есть ключ с правильными ответами, и оценка определяется ключом, настроение проверяющего её не меняет.

Эта статья о работе юриста: что он записывает в наборе, откуда берёт ситуации и как по ним решить, готов ли LegalTech-сервис (онлайн-программа для автоматизации части юридических услуг) к запуску.

Что уже было в цикле:

в статье про техническое задание для LegalTech-сервиса набор назван последним, шестым шагом;
в Triage Logic даны семь тестовых ситуаций для трудового спора;
в Red Flags описано восемь ситуаций для проверки красных флагов.

Главное в этой статье:

правильные ответы записывает юрист;
у каждого примера есть основание (норма, пункт разъяснения Верховного Суда или определение суда) и дата сверки;
в набор попадают придуманные или переписанные ситуации, где человека невозможно узнать;
пропуск красного флага (условия, когда сервис останавливается и передаёт случай человеку) недопустим, а лишняя передача юристу стоит времени и замедляет ответ;
набор пополняется после запуска и пересматривается при каждом изменении нормы.

Нормы приведены по состоянию на 26 октября 2026 года.

Зачем юридическому сервису калибровочный датасет?

Разработчик проверяет, что программа запускается и отвечает. Верен ли ответ по закону, он, как правило, оценить не может. Здесь нужен юрист.

Правильные ответы записывает юрист, и такая работа называется разметкой данных.

Набор отвечает на два вопроса:

Работает ли каждое правило?
Не стало ли хуже после изменений в сервисе?

Нейросеть, её настройки или версия модели обновляются, и ответы сервиса могут стать другими. Прогон набора показывает, что именно сломалось.

Что юрист записывает в каждом примере?

Карточка состоит из восьми полей:

Обращение: текст так, как его написал бы пользователь, без юридических слов.
Факты: что сервису известно из ответов человека на его вопросы.
Ожидаемый маршрут: ответить самому, уточнить или передать юристу (Triage Logic).
Требования к ответу: что в нём обязательно есть и чего в нём быть не может.
Основание: норма, пункт разъяснения Верховного Суда или определение суда с редакцией.
Дата сверки: когда юрист последний раз открывал текст нормы или акта.
Тип примера: один из шести (список ниже).
Кто разметил и кто проверил.

Как это выглядит на примере. Возьмём ситуацию из статьи про Triage Logic: работнику не вручили приказ об увольнении и не выдали трудовую книжку.

Поле	Запись
Обращение	«Меня уволили, но приказа и трудовой книжки я так и не получил, хотя от них не отказывался. Прошло несколько месяцев. Могу я подать в суд?»
Факты	Приказ не вручён, трудовая книжка не выдана, отказа получать документы не было
Тип	Ловушка: по календарю срок давно вышел, по позиции Верховного Суда нет
Маршрут	Передать юристу
Должно быть в ответе	Срок не объявляется истёкшим, случай передан юристу
Не должно быть в ответе	Утверждение, что срок истёк, любыми словами
Основание	ч. 1 ст. 392 ТК РФ (спор об увольнении можно подать в течение месяца со дня вручения приказа или выдачи трудовой книжки), определение Верховного Суда РФ от 07.12.2020 № 5-КГ20-101
Дата сверки	26.10.2026

Ловушки проверяют строже всего. Сервис, который считает срок по календарю, ответит «срок пропущен» и лишит человека шанса обратиться в суд.

Откуда брать примеры?

Четыре источника:

Придуманные самим юристом. Юрист сочиняет ситуацию для каждого правила сервиса и для каждого красного флага. Реальных людей и чужих данных в таких ситуациях нет.
Случаи из практики, написанные заново. Берётся суть, а имена, даты, суммы, города и названия организаций меняются. Риск выше, чем у придуманных ситуаций: сведения клиента всё равно используются для другой цели (причины ниже). Я советую использовать его, если договор с клиентом это разрешает или клиент согласен. В остальных случаях лучше придумывать ситуации.
Судебные акты. Решения судов не защищены авторским правом (п. 1 ч. 6 ст. 1259 Гражданского кодекса РФ), поэтому ситуацию из них взять можно. Людей из акта всё равно заменяют:
- суд публикует акты ради открытости правосудия, и согласием людей на проверку программ это не считается;
- в актах судов общей юрисдикции остаются фамилии, имена и отчества сторон, а в арбитражных актах сведений о людях может быть больше (ч. 2, 3 и 4 ст. 15 Закона о доступе к информации о деятельности судов № 262-ФЗ).
Журнал решений после запуска. Работающий сервис записывает каждое обращение: что написал человек, какое правило сработало и что сервис решил (ответить самому, уточнить или передать юристу). Если юрист видит, что сервис ошибся, он превращает случай в новый пример. Для этого его переписывают так, чтобы человека нельзя было узнать, и записывают правильный ответ.

Что в набор не берут: документы и переписку клиентов как есть.

Причин две:

Персональные данные. Клиент рассказал о себе, чтобы юрист вёл его дело. Закон не разрешает использовать эти сведения для другой цели, не совместимой с первой (ч. 2 ст. 5 Закона о персональных данных № 152-ФЗ). Проверка программы к делу клиента не относится. Для неё нужно отдельное согласие клиента, оформленное отдельным документом (ч. 1 ст. 9 того же закона). С придуманными ситуациями этого не требуется.
Тайна. Для адвоката любые сведения, связанные с оказанием юридической помощи доверителю, составляют адвокатскую тайну (ч. 1 ст. 8 Закона об адвокатуре № 63-ФЗ). Юрист без этого статуса обычно обязан молчать по условиям договора с клиентом, поэтому перед использованием случая загляните в свой договор.

Исследовательские цели. Закон допускает обработку в исследовательских целях при обязательном обезличивании (п. 9 ч. 1 ст. 6). Относится ли к ним проверка программы, остаётся неясным. Разъяснений и судебной практики на этот счёт я на 25 октября 2026 года не нашла. Искала в открытых источниках, в Банке решений арбитражных судов (прочитала около ста тридцати актов) и в актах судов общей юрисдикции на sudact.ru (примерно пятьдесят), подходящих среди них нет. Безопаснее вовсе не брать реальные данные.

Замены фамилии мало. Закон считает персональными данными любые сведения о человеке, которого можно определить прямо или косвенно (п. 1 ст. 3 152-ФЗ). Место работы, редкая должность или необычные обстоятельства дела выдают человека и без фамилии. Обезличивание означает, что без дополнительной информации узнать, о ком речь, невозможно (п. 9 ст. 3). Закон относит это к обработке данных (п. 3 ст. 3), поэтому вопрос о цели остаётся. Если данные клиента всё же обезличивают, действует приказ Роскомнадзора от 19.06.2025 № 140 (с 1 сентября 2025 года): нужно оценить, достаточен ли выбранный метод, хранить исходные и обезличенные данные раздельно и вести учёт этих действий.

Придуманная ситуация без чужих данных проще и надёжнее: её не нужно защищать, передавать разработчику по договору и удалять по окончании работы. Зато придуманные примеры получаются слишком аккуратными, а настоящие люди пишут сбивчиво, с ошибками и путают термины («расписка» вместо «договор»). Каждую ситуацию записывают в нескольких вариантах: спокойно, сбивчиво, с эмоциями и ошибками.

Какие бывают примеры?

Шесть типов:

Типовой. Обычная ситуация, ответ сервис даёт сам.
Пограничный. Значение на самой границе правила: до конца срока остаётся то число дней, при котором дело уже считается срочным.
Ловушка. Ситуация выглядит простой, но закон делает исключение (пример из карточки выше).
Неполные данные. Человек не знает или не отвечает. Сервис просит документ или передаёт случай юристу, но ответ не угадывает.
Контрольный. Признаков флага нет, и пример проверяет, что сервис не останавливается без причины.
Проверка ссылок. В ответе названа норма или дело. Нужно, чтобы акт существовал, а его содержание совпадало с пересказом сервиса. Проверка ссылок нужна из-за случая, описанного в статье Нейросеть в суде: штраф 50 000 ₽.

Минимум для набора составляют по одному примеру на каждое правило и каждый красный флаг. Дальше добавляют примеры на спорные места и на каждую ошибку из журнала.

Как понять, что сервис прошёл проверку?

Ошибки бывают двух видов:

Пропуск. Сервис ответил сам там, где должен был остановиться и передать случай юристу. Эта ошибка опаснее всего.
Лишняя передача. Сервис отправил юристу ситуацию, которую мог закрыть сам. Время юриста тратится, а человек ждёт дольше, зато ответ ему даёт специалист. При коротком сроке задержка тоже может навредить, поэтому число лишних передач ограничивают.

Для красных флагов я предлагаю строгое правило: один пропуск означает «не принято». Оно работает, когда остановку по флагу выполняет обычное правило в программе. Нейросеть на одну и ту же ситуацию может ответить по-разному, поэтому ей эту работу лучше не поручать (Red Flags).

Допустимое число лишних передач заказчик решает сам и записывает в техническое задание до запуска.

Как сверять ответ с записанным. Нейросеть выразит одну мысль десятком способов: «срок истёк», «вы упустили отведённое время». Слова значения не имеют: ответы сопоставляет по смыслу юрист. Вторую нейросеть можно подключить как помощника, но её оценки выборочно проверяют вручную.

Как не подогнать сервис под набор (мои рекомендации):

Часть примеров прячут от разработчика и от тех, кто пишет промпты (текстовые инструкции для нейросети). Работу принимают по этой скрытой части. Когда все примеры известны, сервис проще настроить именно под них, а на новых обращениях может ошибаться.
Если сервис ошибся на скрытом примере, разработчику называют вид ошибки («неверно посчитан месячный срок по спору об увольнении, ч. 1 ст. 392 ТК РФ, при невручённом приказе»), а сам пример не показывают. Если его всё же открыли, он заменяется новым.
Разметку проверяет второй юрист. Если два юриста записали разные ответы, правило записано неясно: сначала уточняют его, потом пример.

Как набор живёт после запуска?

Пересматривают его в трёх случаях:

Запись в журнале решений. Найденная ошибка превращается в новый пример с правильным ответом, переписанный без чужих данных.
Изменилась норма. Примеры с этой нормой перечитывают, а дату сверки обновляют. Для регулярного отслеживания норм на странице услуги есть формат сопровождения (Legal Maintenance).
Нейросеть обновилась или поменяли текст промпта. Прогон повторяют до того, как новая версия начнёт отвечать пользователям.

Набор хранят в таблице с историей изменений: каждая правка записывается отдельной строкой, а прежние строки остаются.

Что записать в техническое задание?

Раздел о калибровочном датасете содержит:

Состав набора: по одному примеру на каждое правило и красный флаг, затем примеры на спорные места.
Обязательные типы примеров.
Правило приёмки по красным флагам.
Допустимое число лишних передач юристу.
Закрытую от разработчика часть набора.
Имена тех, кто размечает и проверяет разметку.
Порядок пополнения и пересмотра набора.
Место хранения и круг лиц с доступом.

Каких шести ошибок стоит избегать при работе с набором?

Примеры пишет разработчик. Он понимает, как устроен код, но не знает, где закон делает исключение.
Только типовые ситуации. Сервис проходит проверку, а на первой же ловушке отвечает неверно.
Ожидаемый ответ без основания. Через год никто не помнит, откуда он взят.
Реальные дела с заменой фамилии. Человека по-прежнему можно узнать, а тайну и персональные данные никто не защитил.
Набор известен всем. Сервис подгоняют под эти примеры, и верность закону остаётся непроверенной.
Набор не пополняется. Ошибки из журнала повторяются на новых обращениях.

Часто задаваемые вопросы

Сколько примеров нужно? Единого числа нет. Минимум составляют по одному примеру на каждое правило и каждый красный флаг. Затем набор растёт за счёт примеров на спорные места и на каждую ошибку из журнала.

Кто размечает примеры: юрист или разработчик? Юрист. Правильный ответ с точки зрения закона записывает человек, который отвечает за правовую часть. Разметку перепроверяет второй юрист.

Можно ли брать реальные обращения клиентов? Без отдельного согласия клиента нельзя: цель обработки данных клиента другая (ч. 2 ст. 5 152-ФЗ), а для адвоката это ещё и адвокатская тайна. Переписанный случай, по которому человека узнать невозможно, я считаю допустимым, если договор с клиентом это разрешает или клиент согласился, но замены фамилии для этого мало. Адвокату безопаснее брать придуманные ситуации.

Можно ли поручить нейросети придумать примеры? Предложить ситуации она может. Правильный ответ записывает юрист и сверяет его с текстом нормы: иначе нейросеть проверяет саму себя.

Чем набор отличается от тестов, которые пишет разработчик? Разработчик проверяет, что код работает без сбоев. Юридический набор выясняет, верен ли ответ: срок посчитан правильно, исключение учтено, флаг сработал.

Кому принадлежит набор примеров? Подборка, составленная творчески, может охраняться как составное произведение (п. 2 ч. 2 ст. 1259 Гражданского кодекса РФ), но авторское право не защищает идеи и факты (ч. 5 той же статьи). Ценность набора лучше охранять ещё и как секрет производства (ст. 1465 ГК РФ). В это понятие входят сведения о способах осуществления профессиональной деятельности, если обладатель принимает разумные меры конфиденциальности, например вводит режим коммерческой тайны (как это сделать). В договоре с разработчиком запишите, кому принадлежат права и вправе ли он применять набор для других заказчиков или для обучения чужих продуктов.

Калибровочный датасет: как юрист проверяет юридическую нейросеть до запуска