Лаборатория интерпретационных рисков ИИ
Математика и Язык внутри ИИ
Экспериментальная программа · шесть типов пар A/B
Эксперименты строятся по цепочке преобразований. Мы берём математическую структуру, которая остаётся неизменной, и меняем только её языковую оболочку. Одна математика — разные формулировки. Дальше смотрим, что происходит с ответом машины.
Каждый эксперимент — это минимальная пара: вариант А и вариант Б. Они математически эквивалентны, но различаются по одному языковому параметру: синтаксису, лексике, степени неявности, форме символа. Это позволяет отделить влияние языка от влияния математики.
Принцип: если математика одна и та же, а ответы разные — значит, разница вызвана языком. Именно эту разницу мы и измеряем.
I.Шесть типов эксперимента
Гипотеза: даже при абсолютно идентичной математике переход от символической записи к словесной меняет вероятность правильного ответа.
Вариант А — формула
Математическая запись
2x + 3 = 11
Вариант Б — слова
К некоторому числу прибавили три и получили одиннадцать. Найдите число.
Математика одна: x = 4
Язык разный: символ / слово
Гипотеза: синтаксическая сложность конструкции влияет на качество ответа даже при неизменном математическом содержании.
Вариант А — простой синтаксис
У Петра было 12 яблок. Он отдал 5. Сколько осталось?
Вариант Б — сложный синтаксис
Пётр, имевший изначально двенадцать яблок, передал пять из них, после чего требовалось установить, какое количество яблок у него осталось.
Математика одна: 12 ? 5 = 7
Меняется синтаксическая сложность
Гипотеза: лексическая замена «20%» на «одну пятую» меняет ответ, хотя математически это одно и то же.
Вариант А — процент
Увеличьте число на 20%.
Вариант Б — дробь
Увеличьте исходное число на одну пятую его первоначального значения.
Математика одна: x · 1.2
Меняется лексика
Гипотеза: неявное отношение («на сколько больше») интерпретируется хуже, чем явное («значение разности»).
Вариант А — неявно
На сколько больше?
Вариант Б — явно
Каково значение разности между первым и вторым количеством?
Математика одна: a ? b
Меняется степень неявности
Гипотеза: символ неравенства и его словесный эквивалент обрабатываются машиной по-разному.
Вариант А — символ
Математическая запись
x > 5
Вариант Б — слово
икс больше пяти.
Математика одна: x > 5
Символ vs слово
Гипотеза: если заменить привычный символ импликации на произвольный, качество математического рассуждения падает — модель теряет опору на знакомую форму.
Вариант А — привычный символ
Импликация в стандартной записи
a > b
Вариант Б — незнакомый символ
Пусть символ ¦ означает импликацию. Проверьте рассуждение.
a ¦ b
Математика одна: a > b
Меняется только символ
Связанное исследование: Dias-Alexiou и соавторы заменяли привычный символ импликации на произвольный ¦ и проверяли, насколько меняется качество математических доказательств LLM.
Ядро лаборатории
Матрица «Язык ? Математика»
Две оси, по которым классифицируется любой ответ ИИ
Язык сохранён
Корректное решение
Формулировка точна, структура удержана, операция выполнена верно.
Математическая ошибка
Задача понята правильно, но операция, алгоритм или вычисление — неверны.
Язык нарушен
Интерпретационная ошибка
Формулировка искажена, но модель «спасла» математику и ответила правильно.
Смешанная ошибка
Язык и математика пострадали одновременно. Самый опасный случай.
Практическая ценность: матрица позволяет отделить ошибку языка от ошибки математики. Это и есть главный инструмент аудита ИИ в математическом образовании.
II.Где возникает ошибка: поток задачи
Задача проходит несколько стадий, прежде чем становится ответом. На каждой из них может возникнуть ошибка — и важно понимать, на какой именно. Условные проценты показывают, где по нашим наблюдениям концентрируются потери.
МАТЕМАТИЧЕСКИЙ ЗАМЫСЕЛ
v
12% потерь
ЯЗЫК
v
23% потерь
ИНТЕРПРЕТАЦИЯ
v
17% потерь
МАТЕМАТИЧЕСКОЕ РЕШЕНИЕ
v
ОТВЕТ
Числа условны. Реальные значения даст эксперимент.
III.Техническая архитектура
Универсальный механизм вместо десятков страниц
Эксперименты хранятся в отдельном файле данных. Добавление нового эксперимента — это не программирование, а одна запись в массиве. Страница сама его отобразит.
/experiment/
data/
experiments.js
css/
experiment.css
js/
experiment.js
index.html
theory.html
experiments.html
try.html
results.html
Каждый эксперимент в experiments.js — это объект:
{
id: 7,
title: "Синтаксическая форма",
hypothesis: "...",
promptA: "...",
promptB: "...",
mathematicalStructure: "...",
linguisticFeature: "syntactic complexity"
}
Это принципиально важно: вы сможете сами создавать новые эксперименты с помощью ИИ, добавляя только новые записи в массив.
Центральный вопрос лаборатории
Где заканчивается язык и начинается математика — и что происходит с задачей на этой границе?
