Теория: Математика как тест на понимание
Лаборатория интерпретационных рисков ИИ

Математика как тест на понимание

1.Исходный тезис: эпистемологический разрыв

«Мы предлагаем обозначить как эпистемологический разрыв — разрыв между способностью дать правильный ответ и способностью осмысленно объяснить, почему этот ответ правильный». — Из статьи «Эпистемологический разрыв в цифровом образовании: роль математики»

Исследование опирается на данные НИУ ВШЭ (2022–2025): доля сгенерированного текста в студенческих работах выросла с 9,9% до 42,3%. ИИ для составления научных работ используют 85% российских учёных, наиболее активно — в социальных (89%) и гуманитарных (77%) дисциплинах.

Однако проблема лежит глубже академической этики. Речь идёт не о списывании, а о трансформации природы понимания. Генеративный ИИ способен производить результат, внешне неотличимый от результата самостоятельной интеллектуальной работы — но без самого познавательного процесса.

2.Что именно мы проверяем

Мы не утверждаем, что ИИ обязательно порождает иллюзию понимания. Мы проверяем три эмпирических вопроса:

Первый. Как часто правильный ответ расходится со способностью учащегося обосновать решение? Это можно измерить: сравнить результат решения задачи с качеством обоснования метода.

Второй. При каких условиях этот разрыв возникает и при каких — исчезает? Зависит ли он от типа задачи, от способа использования ИИ, от уровня подготовки учащегося?

Третий. Переносится ли способ действия на новую задачу? Если учащийся решил задачу с помощью ИИ и не может применить тот же метод в изменённой формулировке — это эмпирический признак эпистемологического разрыва.

Методологическая позиция. Мы не ищем подтверждения тезиса. Мы ищем данные. Если разрыв окажется редким или отсутствующим — это тоже научный результат, и он важен не меньше, чем подтверждение.

3.Три оси диагностики

Эпистемологический разрыв не является бинарным явлением. Мы предлагаем измерять его по трём осям, каждая из которых операционализируется в конкретных задачах.

Ось 1
Результативность решения
Правильность ответа: справляется ли учащийся с задачей — или только воспроизводит знакомый шаблон. Это базовая линия, которая до появления ИИ считалась достаточным индикатором понимания.
Вопрос: даёт ли учащийся правильный ответ на типовую задачу?
Ось 2
Обоснование математических действий
Способность объяснить, почему выбран именно этот метод, а не другой. Это ядро эпистемологического разрыва: правильный ответ может быть получен без понимания пути к нему.
Вопрос: может ли учащийся объяснить, почему решение работает?
Ось 3
Перенос знаний
Способность применить тот же метод в новой, нестандартной задаче — или только в знакомой формулировке. Это самый сильный диагностический признак: если метод не переносится, значит, он не был присвоен.
Вопрос: может ли учащийся решить изменённую задачу тем же способом?
Операциональное определение понимания. Понимание — это способность самостоятельно воссоздать путь к ответу без внешней опоры. В математике этот путь представлен в форме решения или доказательства и может быть проверен.

4.Гипотезы исследования

Мы формулируем три гипотезы, которые можно проверить эмпирически. Каждая из них предполагает возможность опровержения.

Гипотезы
Три проверяемых утверждения
Каждая гипотеза может быть подтверждена или опровергнута данными

Разрыв существует и измерим

При использовании генеративного ИИ для решения математических задач существует статистически значимая доля случаев, в которых правильный ответ сочетается с неспособностью обосновать решение и перенести метод на новую задачу. Разрыв не является универсальным, но он измерим.

Разрыв зависит от условий использования

Величина разрыва зависит от того, как именно используется ИИ: для генерации ответа, для проверки собственного решения или для обсуждения метода. Если учащийся использует ИИ как инструмент проверки, разрыв меньше, чем если он использует его как генератор ответов.

Разрыв различается по типам задач

Величина разрыва зависит от типа математической задачи: на задачах, требующих только применения алгоритма, разрыв меньше; на задачах, требующих доказательства, обобщения или переноса, разрыв больше.

5.Что уже есть за рубежом и в России

Теоретический фундамент

Исследования по математическому образованию

6.Чего ещё нет: эмпирическая лакуна

Белое пятно

Все существующие работы описывают эпистемологический разрыв теоретически или на уровне отдельных наблюдений. Но нет систематических эмпирических данных о том, как часто и при каких условиях правильный ответ расходится с пониманием.

В частности, отсутствуют:

Именно эту лакуну и призван закрыть проект. Его основная задача — собрать эмпирические данные для научной статьи.