Плохие вопросы
Аудит искусственного интеллекта
«ПЛОХИЕ» ВОПРОСЫ

Мы привыкли обсуждать ошибки искусственного интеллекта.

Гораздо реже мы обсуждаем ошибки в самих вопросах, которые мы ему задаём.

Между тем именно здесь скрывается самая недооценённая проблема.

Машина может быть блестящим решателем задачи и при этом совершенно не замечать, что сама задача поставлена плохо.

Плохой вопрос — это не вопрос, на который нет ответа.

Это вопрос, который содержит неявное допущение, и допущение это не проверено.

Человек, задавая его, уже согласился с чем-то, чего не заметил.

А машина — приняла это согласие как данность и начала оптимизировать.

В этом разделе — не набор промптов и не инструкции по формулировке запросов.

Это размышление о природе вопроса: почему плохо поставленный вопрос опаснее плохого ответа, и почему чем лучше машина отвечает, тем важнее человеческая способность спрашивать.

Чем умнее становится система ответов, тем важнее становится человеческая способность ставить вопросы.

Потому что вопрос уже содержит в себе направление движения.

1

Вопрос уже содержит ответ

Любой вопрос содержит в себе неявное утверждение.

Спрашивая «как увеличить производительность?», я уже решил, что производительность — это ценность.

Спрашивая «как уменьшить риск?», я уже согласился с тем, что риск — объект, который следует минимизировать.

Спрашивая «как отобрать лучших?», я уже предположил, что людей можно расположить в некотором порядке и что критерий этого порядка достаточно хорошо описывает человеческую ценность.

Машина не ставит под сомнение эти допущения.

Она принимает их как рамку задачи и начинает искать оптимум внутри неё.

Если рамка выбрана неверно, идеальный ответ окажется бессмысленным — но будет выглядеть убедительно.

«Как определить лучшего сотрудника?» — вопрос предполагает, что «лучший» измерим, что критерий существует, что он один.

Ни одно из этих допущений не проверено.

2

Машина не сомневается в постановке

Человек, по крайней мере в принципе, способен поставить под сомнение саму задачу.

Он может сказать: «Подождите. Возможно, мы вообще не должны это оптимизировать».

Именно такие моменты часто оказываются самыми важными — и в науке, и в жизни.

Искусственный интеллект устроен иначе. Он работает внутри заданного пространства возможностей и не имеет механизма, который позволил бы ему выйти за его пределы.

Он может найти лучший ответ внутри рамки — но не может спросить, верна ли сама рамка. И это не недостаток конкретной модели.

Это структурная особенность: оптимизация всегда происходит относительно чего-то.

Великие открытия в математике нередко начинались не с того, что кто-то быстрее решил существующую задачу, а с того, что кто-то усомнился в самой постановке.

Или в понятиях, которыми эта задача была сформулирована.

3

Чем лучше ответ, тем опаснее ошибка

Если человек получает очевидно глупый ответ, он начинает сомневаться в вопросе.

Но если он получает подробный, убедительный, статистически обоснованный ответ — возникает соблазн забыть о том, что исходная постановка могла быть неверной. Убедительность ответа маскирует слабость вопроса.

Это парадокс, который стоит удерживать в голове: чем совершеннее становится система ответов, тем выше цена плохо поставленного вопроса.

Машина не может нас предупредить — она не видит, что вопрос был плохим. Она просто отвечает хорошо.

ИИ может дать блестящий список рекомендаций на вопрос «как быстрее всего повысить эффективность обучения?» — и ни в одной строке не заметить, что эффективность, возможно, не главный критерий.
4

Кто отвечает за качество вопроса?

Мы привыкли восхищаться машиной, которая умеет отвечать на вопросы.

Но почти не говорим о другом: кто отвечает за качество самого вопроса?

Это различие принципиально.

Ответ можно делегировать. Постановку вопроса — нет.

Если я спрашиваю «как увеличить производительность?», я уже решил, что производительность — ценность.

Машина может помочь мне решить задачу. Но кто поможет мне заметить, что я выбрал не ту задачу?

Только человек. И только при условии, что он сохранил привычку сомневаться в собственной постановке.

Философы логического позитивизма — Карнап, Витгенштейн — значительную часть работы посвятили тому, чтобы отличать осмысленные вопросы от псевдопроблем.

Сегодня эта задача приобретает совершенно новое звучание.

Плохой вопрос > хороший вопрос

Плохо Как определить лучшего сотрудника?
Лучше По каким критериям мы оцениваем сотрудника, и кто решил, что именно эти критерии важны?
Плохо Как быстрее повысить эффективность обучения?
Лучше Что мы называем эффективностью обучения, и не подменяем ли мы этим понятием что-то другое?
Плохо Как уменьшить риск?
Лучше Какой риск мы готовы принять, а какой — нет, и кто должен это решать?
Плохо Как выбрать лучшего ученика?
Лучше Что мы хотим увидеть в ученике, и можно ли это измерить, не разрушая то, что мы измеряем?

Обратите внимание: «хорошие» вопросы — не обязательно более конкретные.

Они более честные. Они не прячут допущение внутри формулировки, а выносят его наружу.

Именно это и делает их трудными. Потому что за хорошим вопросом стоит признание: мы не знаем, что именно мы ценим.

А это признание не всегда удобно.

Машина не может задать такой вопрос за нас. Она может только ответить на тот, который мы задали.

И если мы задали плохой вопрос — она ответит на него хорошо. И это будет худший из возможных исходов.

Что это значит для образования

Если плохой вопрос опаснее плохого ответа, то главная компетенция в эпоху ИИ — не умение получать ответы, а умение задавать вопросы.

Не «как решить задачу», а «что именно мы решаем и зачем». Не «как оптимизировать», а «то ли мы вообще оптимизируем».

Это возвращает нас к старой математической привычке: прежде чем решать, убедись, что задача поставлена корректно.

Математик знает, что правильно решённая неверная задача — это не успех, а ошибка.

В эпоху ИИ эта привычка становится не академической тонкостью, а условием сохранения осмысленности.

< НАЗАД К РАЗДЕЛУ