Лаборатория интерпретационных рисков ИИ
Математика как «язык без носителя»
Эксперименты этого направления — не про «понимает ли ИИ математику». Они про то, воспроизводит ли модель математическую структуру — или только человеческие тексты о математике. Мы даём модели три группы задач, различающиеся по форме и структуре.
Логика простая. Если модель работает со структурой — она должна справляться с задачами, в которых структура знакома, а форма — нет. Если она работает только с текстами — качество будет резко падать при любом отклонении от знакомой формы.
Принцип. Три группы задач — от знакомой формы к незнакомой структуре. Сравниваем ответы. Если качество падает от группы 1 к группе 2 — модель опирается на форму. Если дополнительно падает от группы 2 к группе 3 — структура не автономна.
I.Шесть экспериментов с тремя группами задач
1
Линейное уравнение
Гипотеза: если модель воспроизводит структуру, замена привычных символов (+, −) на нестандартные (?, ?) не должна менять ответ.
Группа 1 — знакомая форма
Решите уравнение:
2x + 3 = 11
Ответ ИИ: «x = 4. Решение: 2x = 11 − 3 = 8, x = 4.»
Группа 2 — незнакомая форма, знакомая структура
Пусть ? означает сложение, ? — умножение. Решите уравнение:
2 ? x ? 3 = 11
Ответ ИИ: «x = 4. Решение: 2 ? x = 11 ? (?3), 2 ? x = 8, x = 8 / 2 = 4.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть операция ? дистрибутивна относительно ?: a ? (b ? c) = (a ? b) ? (a ? c). Известно, что 2 ? x = 8, e = 1. Найдите x.
2 ? x = 8, e = 1
Ответ ИИ: «Условие недостаточно для однозначного ответа: не задано, как операция ? действует на конкретных числах. Из аксиом следует только дистрибутивность, но не значение x.»
2
Импликация
Гипотеза: замена привычного символа импликации (→) на произвольный (¦) снижает качество доказательства — модель теряет опору на знакомую форму.
Группа 1 — знакомая форма
Проверьте логическое следование:
(a → b) ? (b → c) → (a → c)
Ответ ИИ: «Это транзитивность импликации. Утверждение верно: если из a следует b, а из b следует c, то из a следует c.»
Группа 2 — незнакомая форма, знакомая структура
Пусть символ ¦ означает импликацию. Проверьте рассуждение:
(a ¦ b) ? (b ¦ c) ¦ (a ¦ c)
Ответ ИИ: «Утверждение не определено корректно: не указан приоритет операций и границы применения ¦. Требуется уточнение.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть ? — отношение со свойствами: (1) a ? a; (2) если a ? b и b ? a, то a = b; (3) если a ? b и b ? c, то a ? c. Проверьте: следует ли a ? c из a ? b и b ? c?
a ? b, b ? c ? a ? c
Ответ ИИ: «Да, следует — это прямое применение свойства (3), то есть транзитивности отношения ?.»
3
Группа и операция
Гипотеза: если модель работает со структурой, она должна справляться с задачами на абстрактные алгебраические структуры, даже если операции заданы произвольно.
Группа 1 — знакомая форма
Является ли множество целых чисел с операцией сложения группой?
(ℤ, +)
Ответ ИИ: «Да, (ℤ, +) — абелева группа: ассоциативность, нейтральный элемент 0, обратный элемент −a, коммутативность.»
Группа 2 — незнакомая форма, знакомая структура
Пусть G — множество, а операция ? задана таблицей Кэли. Проверьте, является ли (G, ?) группой.
Таблица Кэли (4 × 4)
Ответ ИИ: «Для проверки нужна полная таблица Кэли. По приведённой можно проверить: замкнутость, ассоциативность (по трём элементам), нейтральный элемент и обратные элементы.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть задана система (S, ?, e) с аксиомами: (1) a ? (b ? c) = (a ? b) ? c; (2) a ? e = a; (3) для каждого a существует a′ такой, что a ? a′ = e. Является ли (S, ?) группой?
S, ?, e
Ответ ИИ: «Да, (S, ?) — группа. Аксиомы (1)–(3) — это в точности аксиомы группы (ассоциативность, нейтральный элемент, обратный элемент). Определение группы воспроизведено полностью.»
4
Предел последовательности
Гипотеза: если определение предела записано нестандартными кванторами, модель может потерять логическую структуру — даже если математика та же.
Группа 1 — знакомая форма
Докажите, что lim (1/n) = 0 при n → ∞.
lim (1/n) = 0, n → ∞
Ответ ИИ: «Для любого ε > 0 выберем N = ⌈1/ε⌉. Тогда для всех n > N имеем |1/n − 0| = 1/n < 1/N ≤ ε. Значит, предел равен 0.»
Группа 2 — незнакомая форма, знакомая структура
Пусть ∀ означает «для любого», ∃ — «существует». Докажите:
∀ε > 0 ∃N ∀n > N: |1/n| < ε
Ответ ИИ: «Это определение предела. Возьмём N = ⌈1/ε⌉. Тогда для n > N: 1/n < 1/N ≤ ε. Утверждение доказано.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть задано отношение ? на последовательностях: a ? b, если для любого порога ε существует индекс M такой, что для всех n > M выполнено |aₙ − bₙ| < ε. Докажите, что последовательность aₙ = 1/n удовлетворяет a ? 0.
a ? b ⇔ ∀ε > 0 ∃M ∀n > M: |aₙ − bₙ| < ε
Ответ ИИ: «Отношение ? — это в точности определение сходимости. Для aₙ = 1/n и b = 0: для любого ε > 0 возьмём M = ⌈1/ε⌉. Тогда для n > M: |1/n − 0| = 1/n < 1/M ≤ ε. Значит, a ? 0.»
5
Логическое следствие в незнакомой системе
Гипотеза: если модель воспроизводит структуру, она должна уметь выводить следствия из аксиом, даже если сами аксиомы заданы произвольно и не имеют аналогов в тренировочных данных.
Группа 1 — знакомая форма
Из аксиом: (1) a + b = b + a; (2) a + 0 = a. Следует ли, что 0 + a = a?
a + b = b + a; a + 0 = a
Ответ ИИ: «Да, следует. Из (1) при b = 0: a + 0 = 0 + a. Из (2): a + 0 = a. Значит, 0 + a = a.»
Группа 2 — незнакомая форма, знакомая структура
Пусть ? — операция с аксиомами: (A1) a ? b = b ? a; (A2) a ? e = a. Следует ли, что e ? a = a?
A1: a ? b = b ? a
A2: a ? e = a
A2: a ? e = a
Ответ ИИ: «Да, следует. Из A1 при b = e: a ? e = e ? a. Из A2: a ? e = a. Значит, e ? a = a.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть задано отношение ? со свойствами: (R1) a ? b ⇒ b ? a; (R2) a ? a. Следует ли, что если a ? b, то b ? a?
R1: a ? b ⇒ b ? a
R2: a ? a
R2: a ? a
Ответ ИИ: «Да, следует — это прямо R1. Задача сводится к применению правила R1 без дополнительных выводов.»
6
Доказательство от противного
Гипотеза: если модель воспроизводит структуру, замена привычных логических связок на произвольные не должна разрушать доказательство.
Группа 1 — знакомая форма
Докажите от противного: √2 — иррациональное число.
√2 ∉ ℚ
Ответ ИИ: «Пусть √2 = p/q, где p, q взаимно просты. Тогда 2q² = p², значит p² чётно, значит p чётно. Тогда p = 2k, 4k² = 2q², q² = 2k², значит q чётно. Противоречие с взаимной простотой.»
Группа 2 — незнакомая форма, знакомая структура
Пусть ⊥ означает противоречие, ¬ — отрицание. Докажите: ¬(√2 ∈ ℚ) → ⊥.
¬(√2 ∈ ℚ) → ⊥
Ответ ИИ: «Предположим противное: √2 ∈ ℚ. Тогда √2 = p/q, где p, q взаимно просты. Следуя стандартному рассуждению, получаем, что p и q оба чётны, что противоречит их взаимной простоте. Значит, ⊥.»
Группа 3 — незнакомая структура, незнакомая форма
Пусть задано свойство ?(x) со свойством: если ?(a) и ?(b), то ?(a · b). Известно, что ?(2) ложно. Что можно сказать о ?(4)?
?(a) ∧ ?(b) → ?(a · b)
¬?(2)
¬?(2)
Ответ ИИ: «Из заданных условий нельзя сделать вывод о ?(4). Свойство ? замкнуто относительно умножения, но это не означает, что если ?(2) ложно, то ?(4) тоже ложно: возможен случай, когда ?(4) истинно независимо от ?(2). Требуется дополнительная информация.»
II.Матрица «Форма × Структура»
Инструмент
Две оси, по которым классифицируется ответ модели
Матрица позволяет отделить ошибку, связанную с формой, от ошибки, связанной со структурой
Структура удержана
Структура потеряна
Знакомая форма
Эталонный ответ
Знакомая форма, знакомая структура. Модель отвечает уверенно и точно. Это группа 1.
Ошибка даже на знакомом
Модель ошибается даже на стандартной форме. Это уже не про автономию структуры — это про качество модели.
Незнакомая форма
Структура автономна
Модель удерживает структуру при смене формы. Это подтверждение гипотезы A.
Структура не автономна
Модель теряет структуру при смене формы. Это подтверждение гипотезы B.
Практическая ценность. Если модель удерживает структуру при смене формы — она воспроизводит математику как автономную структуру. Если нет — она воспроизводит только человеческие тексты о математике.
III.Три группы задач: от знакомого к незнакомому
Эксперименты строятся по принципу постепенного отхода от знакомой формы. На каждом шаге мы смотрим, сохраняется ли структура — или модель теряет её вместе с формой.
ГРУППА 1: ЗНАКОМАЯ ФОРМА
↓
Контрольная точка
ГРУППА 2: НЕЗНАКОМАЯ ФОРМА
↓
Проверка автономии формы
ГРУППА 3: НЕЗНАКОМАЯ СТРУКТУРА
Если модель удерживает структуру на всех трёх уровнях — она воспроизводит математику как автономную структуру
IV.Как интерпретировать результаты
У эксперимента нет «правильного» результата заранее. Есть три возможных сценария — и каждый из них означает что-то своё.
Интерпретация
Три возможных исхода
Что означает каждый результат для гипотезы об автономии математики
Модель воспроизводит структуру
Если группа 1 и группа 2 дают одинаковое качество, а группа 3 — не хуже группы 2, значит, модель работает со структурой, а не с формой. Математика в LLM автономна. Это подтверждение гипотезы A и тезиса о «языке без носителя».
Модель опирается на форму
Если группа 2 значимо хуже группы 1, но группа 3 не хуже группы 2, значит, модель зависит от знакомой формы, но всё же способна работать с новой структурой. Математика в LLM частично автономна. Это гибридный случай (гипотеза C).
Модель теряет структуру вместе с формой
Если качество резко падает от группы 2 к группе 3, значит, модель не работает с новой структурой, если её нет в тренировочных данных. Математика в LLM производна от языка о математике. Это подтверждение гипотезы B и опровержение тезиса о «языке без носителя».