Можно ли доверить проверку сочинения нейросети: что умеет технология и где она врёт

5 июня 2026 года глава Рособрнадзора Анзор Музаев рассказал журналистам, чем закончился их эксперимент:

«Мы попробовали использовать искусственный интеллект для проверки сочинений, которые у нас есть как допуск к экзаменам и развернутых ответов по ряду предметов. Именно попробовали, не использовали. И сейчас видим, что пока возможности искусственного интеллекта оставляют желать лучшего».

Интерфакс, 5 июня 2026

Речь ровно о том сочинении, которое ваш ребёнок будет писать в декабре. Ведомство, которое само устанавливает критерии, имеет доступ к любым экспертам страны и не ограничено бюджетом, попробовало — и отказалось.

При этом сегодня в поиске по запросу «проверить сочинение нейросетью» вас встретит с десяток сервисов, и половина из них обещает совпадение с экспертом 92–93%.

Кто-то здесь неправ. Разберёмся кто — и заодно посмотрим, что эта технология действительно умеет, потому что ответ не «ничего».

Сначала о том, что вообще значит «проверить сочинение»

Итоговое сочинение оценивается не баллом, а словом: «зачёт» или «незачёт». Это допуск. Без него к ЕГЭ не пускают.

Правило выставления зачёта выглядит так, и его стоит прочитать медленно:

Зачёт = К1 «Соответствие теме» И К2 «Аргументация» И хотя бы один из трёх: К3 «Композиция», К4 «Качество речи», К5 «Грамотность».

Обратите внимание, что здесь написано. Работа получает допуск, если раскрыта тема, есть литературный аргумент — и выполнен любой один из оставшихся трёх критериев. То есть можно завалить грамотность полностью, завалить качество речи, и всё равно получить зачёт, если композиция в порядке.

Теперь цифра. В декабре 2025 года сочинение писали более 670 тысяч человек, и 98,4% получили зачёт. Годом раньше — 98,3%.

Из этих двух фактов следует вывод, который меняет всю постановку задачи. Сам по себе зачёт не несёт почти никакой информации. Его получают практически все. Если вы просите машину — или репетитора — сказать вам «зачёт или незачёт», вы задаёте вопрос, ответ на который известен заранее с вероятностью 98%.

Полезная информация лежит не в вердикте, а внутри критериев: где именно работа просела и на сколько. И вот тут выясняется, что разные критерии устроены принципиально по-разному — настолько по-разному, что машина справляется с одними и систематически не справляется с другими.

Шестьдесят лет автоматической проверки, из которых пятьдесят пять она не читала текст

Автоматическая проверка сочинений старше интернета. В 1966 году Эллис Пейдж запустил Project Essay Grade, и логика была такая: если нельзя измерить смысл, измерим то, что с ним коррелирует. Длину слов. Количество запятых. Долю редких слов. Среднюю длину предложения.

Работало это на удивление прилично — корреляция с оценками людей выходила высокой. Но работало по причине, которая должна настораживать: хорошие тексты обычно длиннее и сложнее, поэтому, измеряя длину и сложность, вы попадаете в оценку не потому, что поняли текст, а потому что поймали её тень.

Чем это заканчивается, показал Лес Перельман из MIT. Он с коллегами написал генератор BABEL — программу, которая производит грамматически безупречную бессмыслицу с длинными словами и сложными оборотами. Тексты, не значащие вообще ничего, получали у автоматических проверщиков высшие баллы.

Это и есть фундаментальная претензия к досмысловой эпохе: система награждала признаки хорошего текста вместо самого текста, и потому её можно было обмануть, не написав ни одной осмысленной фразы.

Что изменилось с языковыми моделями — и что не изменилось

Современная модель работает иначе. Она не считает запятые по формуле — она читает текст целиком и может ответить на вопрос «раскрыта ли тема» словами, а не числом. Разница настоящая: обмануть её набором длинных слов уже нельзя, потому что она видит, что за словами ничего не стоит.

Но проверка сочинения — это не «понять текст». Это «поставить оценку по рубрике, повторяемо и так же, как поставил бы эксперт». И вот здесь начинаются проблемы, которые никуда не делись.

Согласие с экспертом. Самая близкая к нам по языку опубликованная работа — мартовское исследование 2026 года на австрийских выпускных сочинениях по немецкому. Немецкий выбран удачно: как и русский, он флективный, и как у нас, работы оцениваются по стандартной рубрике на государственном экзамене. Взяли 101 реальную экзаменационную работу и четыре модели. Результат: совпадение с итоговой оценкой эксперта — 32,8%. По отдельным подкритериям в лучшем случае 40,6%. Вывод авторов дословный: модели «недостаточно точны для применения в реальной среде оценивания».

Нестабильность. Одна и та же модель на одном и том же сочинении в двух прогонах ставит разные оценки. Это свойство, а не баг конкретной реализации.

Сжатие шкалы. Модели систематически тянут оценки к середине: слабым работам завышают, сильным занижают. Для допуска это почти незаметно, а для балльной оценки — критично.

Чувствительность к формулировке. Переписать рубрику другими словами, не меняя смысла, — и согласие с экспертом уезжает. То есть результат зависит не только от сочинения, но и от того, как именно составлен промпт.

Сложите это с заявлениями сервисов о 92–93% — и увидите, что цифры несопоставимы по самому смыслу. «Совпадение» можно считать по-разному: по бинарному вердикту, по каждому критерию, по итоговой оценке. Проверить эти проценты нельзя: ни один из сервисов не публикует методику. Ни размер выборки, ни кто был экспертом, ни как считалось согласие.

И отдельно стоит сказать вслух: исследований согласия языковых моделей с экспертом на русскоязычных сочинениях в открытом доступе нет вообще. Все цифры выше получены на английском, немецком и других языках. Любой, кто называет вам процент по русскому, либо измерил его сам и не показывает как, либо не измерял.

Главное различие: какие критерии машина считает, а какие угадывает

Вот наблюдение, ради которого стоило всё это разбирать. Пять критериев итогового сочинения — это не пять однотипных задач. Это две совершенно разные задачи, и машина решает их с противоположным успехом.

К5 «Грамотность» — это арифметика. Формулировка ФИПИ: незачёт ставится, если на 100 слов приходится в сумме более пяти ошибок — грамматических, орфографических и пунктуационных. Заметьте: речевые ошибки в этот счёт не входят, они относятся к К4.

Это не вопрос вкуса. Это подсчёт: найти ошибки, разложить по типам, поделить на количество слов, сравнить с порогом. Машина здесь действительно сильна — она не устаёт к тридцатой работе, не пропускает запятую из-за того, что читает по диагонали, и считает по формуле, а не по впечатлению.

К1 «Соответствие теме» и К2 «Аргументация» — это суждение. Раскрыта ли тема или ребёнок написал рядом с ней. Является ли упоминание «Войны и мира» аргументом или пересказом. Здесь нет формулы, здесь есть понимание замысла — и ровно здесь исследования показывают 33% совпадения.

Практический вывод из этого простой и, кажется, нигде не написанный:

Машине стоит верить там, где она считает, и перепроверять там, где она рассуждает.

Если проверка говорит «двенадцать пунктуационных ошибок, вот они с цитатами» — это можно брать в работу сразу. Если она говорит «тема раскрыта поверхностно» — это повод посмотреть самому, а не приговор.

Почерк — отдельная и самая недооценённая проблема

Почти все сервисы принимают фотографию рукописи. Звучит удобно и скрывает главный риск.

Распознавание печатного текста давно решено. Рукописный почерк одиннадцатиклассника, написанный шариковой ручкой в конце четвёртого часа экзамена, — принципиально другая задача. И вот что важно понимать: публичного бенчмарка распознавания рукописи современных российских школьников не существует. Есть датасеты на дореволюционных рукописях и на школьных тетрадях, но опубликованной точности, на которую можно сослаться, нет ни у кого.

Почему это важно именно здесь: ошибка распознавания превращается в ошибку проверки. Если модель прочитала «прийти» там, где написано «придти», она найдёт ошибку, которой нет, — или наоборот. А поскольку К5 считается арифметически, каждое такое ложное срабатывание сдвигает результат по формуле.

Отсюда правило, которое стоит соблюдать независимо от сервиса: всегда смотрите, что именно система прочитала. Если она показывает распознанный текст рядом с ошибками — с ней можно работать. Если она показывает только вердикт, вы не можете отличить ошибку ребёнка от ошибки распознавания.

Как это устроено у нас

Мы проверяем итоговое сочинение и итоговое изложение — то есть декабрьский допуск. Задание 27 ЕГЭ по русскому языку мы через этот механизм не проверяем, и это стоит сказать прямо, потому что несколько сервисов заявляют оба формата сразу.

Что происходит внутри:

Вердикт считается по формуле, а не по ощущению. Итог выводится как К1 И К2 И хотя бы один из К3/К4/К5 — дословно как у ФИПИ. К5 считается арифметически: сумма орфографических, пунктуационных и грамматических ошибок, делённая на количество слов, умноженная на сто, сравнение с порогом пять. В инструкции модели отдельно прописано, что «есть ошибки» и «критерий провален» — разные вещи, потому что без этого модель путает одно с другим и заваливает К5 при одной ошибке на двести слов.

Слова считает код, а не модель. Подсчёт реализует сноску ФИПИ построчно: «всё-таки» — одно слово, инициалы с фамилией — одно слово, цифры не считаются. Это детерминированная функция, а не оценка на глаз.

Есть чёрный список ложных срабатываний. Отдельный раздел инструкции перечисляет обороты, которые наивная проверка помечает ошибкой, а ошибкой они не являются. Плюс отдельный детектор подмены рассуждения пересказом исходного текста — с числовым порогом и назначенными последствиями по К1 и К2.

Что видит ученик: вердикт по каждому критерию с цитатами-уликами из его же работы, ошибки семи категорий, у каждой — цитата, правило, объяснение и исправление, два-четыре переписанных фрагмента как образец, сильные и слабые стороны, рекомендации по приоритету.

Теперь честно о границах.

Человека в цикле нет. Это машинная проверка, и её вердикт не имеет никакого отношения к тому, что поставит настоящий эксперт в декабре.

Мы не измеряли согласие с экспертом на русском. Никто не измерял — см. выше. Поэтому мы не называем процент. Если увидите у нас когда-нибудь такую цифру, спрашивайте методику.

Распознавание рукописи может ошибаться, и по причинам из предыдущего раздела мы показываем распознанный текст рядом с разбором, а не только результат.

Как этим пользоваться, чтобы был толк

Если свести всё вышесказанное к практике, получается четыре правила.

Первое. Не спрашивайте «зачёт или незачёт». Ответ почти всегда «зачёт», и он бесполезен. Спрашивайте, сколько ошибок на сто слов и какого они типа.

Второе. Разделяйте счётное и оценочное. Список пунктуационных ошибок с цитатами — рабочий материал. Суждение о глубине раскрытия темы — повод перечитать самому.

Третье. Проверяйте, что прочитала машина. Особенно на фотографии рукописи. Ошибка распознавания неотличима от ошибки ученика, если вы не видите исходник.

Четвёртое, и самое важное. Пишите не один раз. Ценность машинной проверки не в точности вердикта, а в том, что она доступна в любой момент и не устаёт. Три сочинения с разбором в сентябре-октябре дают несопоставимо больше, чем одно идеально проверенное в ноябре. Ровно это машина умеет, а живой эксперт физически не может — и это её настоящее преимущество, а не проценты совпадения.

Когда писать

Официального расписания на 2026/27 учебный год Рособрнадзор на момент публикации ещё не выпустил. По многолетней норме основной срок — первая среда декабря, дополнительные — в первую среду февраля и вторую среду апреля. Как только приказ выйдет, даты стоит сверить на obrnadzor.gov.ru.

Практический смысл: у вас есть сентябрь, октябрь и ноябрь. Этого достаточно, чтобы написать несколько работ и увидеть, что именно проседает — а не узнать об этом в декабре из одного слова.

Так кто был неправ

Вернёмся к началу. Рособрнадзор попробовал и отказался. Сервисы обещают 92%. Наука на близком языке показывает 33%.

Противоречия здесь на самом деле нет — все трое говорят о разных вещах.

Ведомству нужна проверка, которая заменяет эксперта: одна работа, один проход, юридически значимый результат, на который нельзя подать апелляцию со словами «машина ошиблась». Для этого технология действительно не готова, и Музаев прав.

Сервисы говорят о проверке, которая не заменяет никого: черновик, за три месяца до экзамена, с возможностью переписать. Здесь ошибка машины стоит ровно ничего — вы посмотрели, не согласились, пошли дальше.

А 33% — это ответ на вопрос «может ли модель поставить итоговую оценку вместо человека». Ответ: нет. Но это не тот вопрос, который решает школьник в октябре. Его вопрос — «где у меня слабое место и что с ним делать», и на него та же самая технология отвечает заметно лучше, чем на первый.

Разница между этими двумя вопросами и есть всё, что нужно знать про ИИ-проверку сочинений.