Лаборатория интерпретационных рисков ИИ
Промпт-инжиниринг как математико-дидактическая компетенция
Эксперименты этого направления — не про то, «как правильно писать промпты». Они про то, как меняется математический результат при изменении структурной полноты запроса. Мы берём одну задачу и предлагаем её модели на трёх уровнях: L1 (расплывчатый), L2 (формально полный, но структурно неполный) и L3 (структурно полный).
Это не тестирование ИИ. Это исследование того, как язык формулировки влияет на математику — и можно ли этому научить.
Принцип. Одна математика — три уровня языковой точности. Сравниваем ответы. Если результаты разные — значит, разница вызвана структурной полнотой запроса. Именно эту разницу мы и измеряем.
I.Шесть экспериментов с уровнями L1 / L2 / L3
1
Квадратное уравнение
Гипотеза: чем полнее структура запроса, тем меньше у модели свободы «достроить» условие по-своему — и тем точнее ответ.
L1 — расплывчатый
«Реши уравнение x² − 5x + 6 = 0»
Ответ ИИ: «x = 2, x = 3» — без метода и проверки.
L2 — формально полный
«Найди корни уравнения x² − 5x + 6 = 0»
Ответ ИИ: «Корни: x = 2, x = 3. Решение через дискриминант: D = 25 − 24 = 1» — метод указан, но не сказано, на каком множестве искать корни.
L3 — структурно полный
«Найди все действительные корни уравнения x² − 5x + 6 = 0. Приведи метод решения и проверь каждый корень подстановкой.»
Ответ ИИ: «Действительные корни: x = 2, x = 3. Метод: разложение на множители (x−2)(x−3) = 0. Проверка: 2² − 5·2 + 6 = 0, 3² − 5·3 + 6 = 0. Оба корня верны.»
2
Проценты и доли
Гипотеза: при неполной формулировке модель может выбрать неверное математическое действие — особенно при смешении процентов и долей.
L1 — расплывчатый
«Увеличь число 250 на 20%»
Ответ ИИ: «250 · 1.2 = 300» — верно, но без пояснения, что значит «увеличить на 20%».
L2 — формально полный
«Увеличь число 250 на 20% от его первоначального значения»
Ответ ИИ: «250 + 0.2 · 250 = 300. Увеличение на 20% означает умножение на 1.2.» — структура уточнена.
L3 — структурно полный
«Увеличь число 250 на 20% от его первоначального значения. Запиши действие в виде формулы, покажи промежуточные вычисления и проверь результат обратным действием.»
Ответ ИИ: «Формула: 250 · (1 + 0.2) = 250 · 1.2 = 300. Проверка: 300 / 1.2 = 250. Верно.» — полная структура с проверкой.
3
Система уравнений
Гипотеза: при формулировке «реши систему» модель может выбрать метод, который не имелся в виду — и не указать случаи, когда решений нет.
L1 — расплывчатый
«Реши систему: x + y = 5, x − y = 1»
Ответ ИИ: «x = 3, y = 2» — верно, но без метода и без обсуждения единственности решения.
L2 — формально полный
«Найди решение системы: x + y = 5, x − y = 1»
Ответ ИИ: «Решение: x = 3, y = 2. Метод сложения: складываем уравнения, получаем 2x = 6.» — метод указан, но без обсуждения случая отсутствия решений.
L3 — структурно полный
«Реши систему линейных уравнений методом сложения: x + y = 5, x − y = 1. Опиши, единственно ли решение. Если решений бесконечно много — опиши множество решений параметрически. Проверь найденное решение подстановкой.»
Ответ ИИ: «Метод сложения: 2x = 6, откуда x = 3. Из первого уравнения y = 2. Система имеет единственное решение, так как определитель ≠ 0. Проверка: 3 + 2 = 5, 3 − 2 = 1. Верно.»
4
Логическое следование
Гипотеза: при неполной формулировке модель может потерять направление импликации — а при полной указать контрпример.
L1 — расплывчатый
«Если число делится на 3, то оно делится на 6?»
Ответ ИИ: «Да, верно» — ошибка: направление импликации неверное.
L2 — формально полный
«Верно ли утверждение: если число делится на 3, то оно делится на 6?»
Ответ ИИ: «Нет, неверно. Например, 9 делится на 3, но не делится на 6.» — контрпример найден.
L3 — структурно полный
«Проверь утверждение: если число делится на 3, то оно делится на 6. Если утверждение неверно — приведи контрпример. Если верно — докажи. Разбери оба направления импликации: 3 → 6 и 6 → 3.»
Ответ ИИ: «Утверждение 3 → 6 неверно: контрпример 9 (делится на 3, но не на 6). Обратное утверждение 6 → 3 верно: если число делится на 6, то оно делится на 3.»
5
Область определения
Гипотеза: если в запросе не указано множество, на котором ищется решение, модель может дать комплексные корни вместо действительных — или наоборот.
L1 — расплывчатый
«Реши уравнение x² + 4 = 0»
Ответ ИИ: «x = 2i, x = −2i» — модель сама выбрала комплексные числа.
L2 — формально полный
«Найди корни уравнения x² + 4 = 0»
Ответ ИИ: «Действительных корней нет. Комплексные корни: x = 2i, x = −2i.» — оба случая указаны.
L3 — структурно полный
«Реши уравнение x² + 4 = 0 на множестве действительных чисел. Если решений нет — объясни почему. Затем найди комплексные корни, если они существуют.»
Ответ ИИ: «На множестве действительных чисел решений нет, так как x² ≥ 0, значит x² + 4 ≥ 4 > 0. На множестве комплексных чисел: x = 2i, x = −2i (проверка: (2i)² + 4 = −4 + 4 = 0).»
6
Доказательство
Гипотеза: при формулировке «докажи» без указания метода модель может выбрать неожиданный путь — а при полной структуре работать в заданных рамках.
L1 — расплывчатый
«Докажи, что сумма двух чётных чисел чётна»
Ответ ИИ: «2 + 4 = 6, 6 — чётное. Значит, утверждение верно.» — доказательство через пример, а не в общем виде.
L2 — формально полный
«Докажи, что сумма двух чётных чисел всегда чётна»
Ответ ИИ: «Пусть a = 2m, b = 2n. Тогда a + b = 2m + 2n = 2(m + n) — чётное.» — доказательство в общем виде.
L3 — структурно полный
«Докажи, что сумма двух чётных чисел всегда чётна. Используй определение чётного числа. Запиши доказательство по шагам: (1) обозначения, (2) преобразование, (3) вывод. Укажи, какие свойства арифметики использованы.»
Ответ ИИ: «(1) Пусть a и b — чётные, тогда a = 2m, b = 2n для некоторых целых m, n. (2) a + b = 2m + 2n = 2(m + n). (3) Так как m + n — целое, a + b делится на 2, значит чётно. Использованы: определение чётного числа, распределительный закон.»
II.Матрица «Структурная полнота × Качество ответа»
Инструмент
Две оси, по которым оценивается промпт и его результат
Матрица позволяет отделить ошибку постановки задачи от ошибки выполнения
Ответ соответствует задаче
Ответ не соответствует задаче
L3 — структурно полный
Корректный результат
Структура задана, модель не может «достроить» условие по-своему. Это эталонный случай.
Ошибка модели
Структура была полной, но модель всё равно ошиблась. Это уже не ошибка постановки — это ошибка выполнения.
L1 — расплывчатый
Случайное совпадение
Ответ верный, но структура не была задана — модель могла решить «не ту задачу». Результат ненадёжен.
Ошибка постановки
Запрос не содержал структуры, модель достроила её по-своему. Это самый частый случай в практике.
Практическая ценность. Матрица позволяет отделить ошибку постановки задачи от ошибки выполнения. Если ответ неверен при L3 — это ошибка модели. Если при L1 — это ошибка постановки. Педагогические реакции разные.
III.Поток: от замысла к ответу
Промпт — это промежуточное звено между математическим замыслом и ответом модели. Чем полнее структура промпта, тем меньше потерь на этом пути. На каждой стадии возможна своя потеря.
МАТЕМАТИЧЕСКИЙ ЗАМЫСЕЛ
↓
Структура задачи
ПРОМПТ (L1 / L2 / L3)
↓
Полнота формулировки
ИНТЕРПРЕТАЦИЯ МОДЕЛЬЮ
↓
Достраивание пропущенного
ОТВЕТ
Чем выше уровень промпта — тем меньше потерь на переходе от замысла к ответу
IV.Педагогические реакции на разные уровни промпта
Один и тот же результат может требовать разных педагогических реакций в зависимости от того, на каком уровне был сформулирован запрос. Ниже — три типа реакций, привязанных к уровням L1–L3.
Реакции
Что делать учителю
Три типа педагогических действий — по уровню промпта
Учить видеть структуру задачи
Если запрос был на уровне L1 — работать над пониманием структуры. Ученик должен научиться выделять: множество, операцию, ограничение, цель, метод проверки. Без этого запрос останется расплывчатым.
Учить переводить структуру в язык
Если запрос был на уровне L2 — работать над формулировкой. Ученик должен научиться выражать структуру так, чтобы модель не «достроила» пропущенное. Это навык точной записи условия.
Учить проверять результат
Если запрос был на уровне L3 и модель всё равно ошиблась — работать над проверкой. Ученик должен уметь увидеть, что ошибка не в постановке, а в выполнении. Это метакомпетенция.