Лаборатория интерпретационных рисков ИИ
Математика как тест на понимание
Эксперименты этого направления — это диагностическая методика. Мы берём математическую задачу и трижды проверяем учащегося: (1) даёт ли он правильный ответ, (2) может ли обосновать метод, (3) может ли применить метод в новой задаче. Расхождение между этими тремя результатами и есть эпистемологический разрыв.
Принцип. Одна задача — три оси. Сравниваем результаты по трём осям. Если результат по первой оси выше, чем по второй и третьей — это эмпирический признак эпистемологического разрыва. Если результаты совпадают — разрыва нет.
I.Шесть диагностических экспериментов
1
Линейное уравнение
Гипотеза: на простых алгоритмических задачах разрыв минимален, потому что метод очевиден и легко переносится.
Ось 1 — Результативность
Задача: Решить уравнение 2x + 3 = 11.
Метрика: правильность ответа (да / нет)
Ось 2 — Обоснование
Вопрос: Почему нужно вычесть 3 из обеих частей, а не разделить на 2 сразу?
Метрика: полнота обоснования (0–3 балла)
Ось 3 — Перенос
Задача: Решить уравнение 3(x − 1) + 5 = 14.
Метрика: правильность решения изменённой задачи
Что измеряем
Сравниваем три результата. Ожидание: на простой задаче разрыв минимален — учащийся, давший правильный ответ, обычно может и обосновать, и перенести. Если разрыв обнаружен — это важный контрпример к гипотезе H3.
2
Задача на проценты
Гипотеза: на задачах с типичной ловушкой (проценты от изменённой величины) разрыв больше, чем на алгоритмических задачах.
Ось 1 — Результативность
Задача: Цена товара увеличилась на 20%, затем уменьшилась на 20%. Как изменилась исходная цена?
Метрика: правильность ответа
Ось 2 — Обоснование
Вопрос: Почему ответ не «не изменилась»? От какого числа берутся проценты во второй раз?
Метрика: полнота обоснования (0–3 балла)
Ось 3 — Перенос
Задача: Цена выросла на 25%, затем упала на 20%. Как изменилась цена?
Метрика: правильность решения изменённой задачи
Что измеряем
Ожидание: разрыв больше, потому что правильный ответ может быть получен через ИИ без понимания того, от какой величины берётся процент. Если учащийся даёт верный ответ, но не может обосновать — это признак эпистемологического разрыва.
3
Геометрическое доказательство
Гипотеза: на задачах, требующих доказательства, разрыв максимален, потому что доказательство — это и есть путь к ответу.
Ось 1 — Результативность
Задача: Доказать, что сумма углов треугольника равна 180°.
Метрика: наличие доказательства (да / нет)
Ось 2 — Обоснование
Вопрос: Почему можно провести прямую, параллельную стороне, и какие свойства углов при этом используются?
Метрика: полнота обоснования (0–5 баллов)
Ось 3 — Перенос
Задача: Доказать, что сумма углов четырёхугольника равна 360°.
Метрика: перенос метода (разбиение на треугольники)
Что измеряем
Ожидание: максимальный разрыв. На доказательных задачах правильный ответ без понимания метода фактически невозможен — но учащийся может воспроизвести заученное доказательство, не понимая его. Тогда разрыв проявится на оси 3 (перенос).
4
Задача на перенос метода
Гипотеза: при использовании ИИ как генератора ответа разрыв на оси 3 (перенос) значимо выше, чем при использовании ИИ как инструмента проверки.
Ось 1 — Результативность
Задача: Найти производную функции f(x) = x² · sin(x).
Метрика: правильность ответа
Ось 2 — Обоснование
Вопрос: Почему здесь нужно правило произведения, а не правило частного?
Метрика: полнота обоснования (0–3 балла)
Ось 3 — Перенос
Задача: Найти производную функции g(x) = x² · ln(x) · cos(x).
Метрика: применение того же правила в усложнённой задаче
Что измеряем
Ключевое сравнение: учащиеся делятся на две группы. Группа A использует ИИ для генерации ответа. Группа B использует ИИ для проверки собственного решения. Сравниваем разрыв на оси 3 между группами. Это прямая проверка гипотезы H2.
5
Задача с нестандартной формулировкой
Гипотеза: на задачах, где формулировка отличается от типовой, разрыв больше, потому что модель может дать ответ, не разобравшись в условии.
Ось 1 — Результативность
Задача: У Пети было 12 яблок. Он отдал 3 яблока и ещё 2 яблока, а потом получил 5 яблок. Сколько яблок стало у Пети? (изменённая формулировка стандартной задачи)
Метрика: правильность ответа
Ось 2 — Обоснование
Вопрос: Какую последовательность действий нужно выполнить и почему именно такую?
Метрика: полнота обоснования (0–3 балла)
Ось 3 — Перенос
Задача: Та же структура, но с другими числами и другим сюжетом.
Метрика: перенос метода на новый сюжет
Что измеряем
Ожидание: разрыв больше, чем на стандартной задаче. Это проверка гипотезы H3: разрыв зависит от степени нестандартности задачи. Если учащийся решает только знакомые формулировки — это признак разрыва.
6
Задача с проверкой собственного решения
Гипотеза: если учащийся использует ИИ для проверки собственного решения, а не для генерации ответа, разрыв на всех трёх осях снижается.
Ось 1 — Результативность
Задача: Решить систему уравнений: x + y = 7, x − y = 3.
Метрика: правильность ответа
Ось 2 — Обоснование
Вопрос: Какой метод вы использовали и почему? Проверьте, согласуется ли ваш метод с решением ИИ.
Метрика: полнота обоснования (0–3 балла)
Ось 3 — Перенос
Задача: Решить систему: 2x + 3y = 12, 4x − y = 10.
Метрика: применение того же метода
Что измеряем
Ключевое сравнение: сравниваем разрыв в группе, где ИИ используется для проверки, с разрывом в контрольной группе, где ИИ не используется. Это прямая проверка гипотезы H2 и одновременно — возможный ответ на практический вопрос: как использование ИИ должно быть встроено в учебный процесс, чтобы не порождать разрыв.
II.Матрица «Результат × Обоснование × Перенос»
Инструмент
Восемь возможных профилей учащегося
От полного понимания до полного разрыва
Обоснование есть
Обоснования нет
Ответ верный + перенос есть
Полное понимание
Ответ верный, метод обоснован, метод переносится на новую задачу. Это эталонный случай — разрыва нет.
Возможный разрыв
Ответ верный, перенос есть, но обоснование отсутствует. Возможно, учащийся действует интуитивно. Требует дополнительной проверки.
Ответ верный + переноса нет
Частичное понимание
Ответ верный, обоснование есть, но метод не переносится. Это может быть признаком жёсткой привязки к контексту.
Эпистемологический разрыв
Ответ верный, но ни обоснования, ни переноса нет. Это классический случай разрыва: ответ получен без понимания.
Ответ неверный
Понимание без результата
Ответ неверный, но обоснование есть. Это вычислительная ошибка при верном понимании метода. Не является эпистемологическим разрывом.
Отсутствие понимания
Ответ неверный и обоснования нет. Это не эпистемологический разрыв в строгом смысле — это отсутствие понимания как такового.
Практическая ценность. Матрица позволяет классифицировать каждого учащегося по трём осям и увидеть, в каком именно месте возникает разрыв. Это инструмент диагностики, который можно использовать в реальной практике.
III.Поток диагностики: от ответа к пониманию
Диагностика проходит четыре стадии. На каждой мы фиксируем результат — и сравниваем его с предыдущей. Расхождение между стадиями и есть эмпирический признак разрыва.
ЗАДАЧА 1: ОТВЕТ
↓
Фиксируем: правильность
ОБОСНОВАНИЕ МЕТОДА
↓
Фиксируем: полнота
ЗАДАЧА 2: ПЕРЕНОС
↓
Фиксируем: применение метода
ПРОФИЛЬ УЧАЩЕГОСЯ
Если результат падает от стадии к стадии — это признак эпистемологического разрыва
IV.Методика сбора данных
Основная задача проекта — собрать эмпирические данные для научной статьи. Ниже — шесть шагов методики, которые повторяются в каждом эксперименте.
Методика
Шесть шагов сбора данных
Каждый шаг фиксирует отдельный показатель
- Отбор участников. Формируем две группы: экспериментальную (использует ИИ) и контрольную (не использует ИИ). Фиксируем базовый уровень подготовки.
- Задача 1 — результативность. Участник решает задачу. Фиксируем правильность ответа.
- Обоснование. Участник объясняет, почему выбран именно этот метод. Фиксируем полноту обоснования по шкале.
- Задача 2 — перенос. Участник решает изменённую задачу тем же методом. Фиксируем успешность переноса.
- Профиль учащегося. По трём показателям определяем место в матрице «Результат × Обоснование × Перенос».
- Сравнение групп. Сравниваем распределение профилей между экспериментальной и контрольной группой. Это даёт эмпирические данные о величине разрыва.
Что важно. Мы не оцениваем участников как «понимающих» или «непонимающих». Мы измеряем величину расхождения между тремя показателями. Это позволяет получить данные, пригодные для статистического анализа.