Мы привыкли обсуждать ошибки искусственного интеллекта.
Гораздо реже мы обсуждаем ошибки в самих вопросах, которые мы ему задаём.
Между тем именно здесь скрывается самая недооценённая проблема.
Машина может быть блестящим решателем задачи и при этом совершенно не замечать, что сама задача поставлена плохо.
Плохой вопрос — это не вопрос, на который нет ответа.
Это вопрос, который содержит неявное допущение, и допущение это не проверено.
Человек, задавая его, уже согласился с чем-то, чего не заметил.
А машина — приняла это согласие как данность и начала оптимизировать.
В этом разделе — не набор промптов и не инструкции по формулировке запросов.
Это размышление о природе вопроса: почему плохо поставленный вопрос опаснее плохого ответа, и почему чем лучше машина отвечает, тем важнее человеческая способность спрашивать.
Потому что вопрос уже содержит в себе направление движения.
Любой вопрос содержит в себе неявное утверждение.
Спрашивая «как увеличить производительность?», я уже решил, что производительность — это ценность.
Спрашивая «как уменьшить риск?», я уже согласился с тем, что риск — объект, который следует минимизировать.
Спрашивая «как отобрать лучших?», я уже предположил, что людей можно расположить в некотором порядке и что критерий этого порядка достаточно хорошо описывает человеческую ценность.
Машина не ставит под сомнение эти допущения.
Она принимает их как рамку задачи и начинает искать оптимум внутри неё.
Если рамка выбрана неверно, идеальный ответ окажется бессмысленным — но будет выглядеть убедительно.
«Как определить лучшего сотрудника?» — вопрос предполагает, что «лучший» измерим, что критерий существует, что он один.Ни одно из этих допущений не проверено.
Человек, по крайней мере в принципе, способен поставить под сомнение саму задачу.
Он может сказать: «Подождите. Возможно, мы вообще не должны это оптимизировать».
Именно такие моменты часто оказываются самыми важными — и в науке, и в жизни.
Искусственный интеллект устроен иначе. Он работает внутри заданного пространства возможностей и не имеет механизма, который позволил бы ему выйти за его пределы.
Он может найти лучший ответ внутри рамки — но не может спросить, верна ли сама рамка. И это не недостаток конкретной модели.
Это структурная особенность: оптимизация всегда происходит относительно чего-то.
Великие открытия в математике нередко начинались не с того, что кто-то быстрее решил существующую задачу, а с того, что кто-то усомнился в самой постановке.Или в понятиях, которыми эта задача была сформулирована.
Если человек получает очевидно глупый ответ, он начинает сомневаться в вопросе.
Но если он получает подробный, убедительный, статистически обоснованный ответ — возникает соблазн забыть о том, что исходная постановка могла быть неверной. Убедительность ответа маскирует слабость вопроса.
Это парадокс, который стоит удерживать в голове: чем совершеннее становится система ответов, тем выше цена плохо поставленного вопроса.
Машина не может нас предупредить — она не видит, что вопрос был плохим. Она просто отвечает хорошо.
ИИ может дать блестящий список рекомендаций на вопрос «как быстрее всего повысить эффективность обучения?» — и ни в одной строке не заметить, что эффективность, возможно, не главный критерий.Мы привыкли восхищаться машиной, которая умеет отвечать на вопросы.
Но почти не говорим о другом: кто отвечает за качество самого вопроса?
Это различие принципиально.
Ответ можно делегировать. Постановку вопроса — нет.
Если я спрашиваю «как увеличить производительность?», я уже решил, что производительность — ценность.
Машина может помочь мне решить задачу. Но кто поможет мне заметить, что я выбрал не ту задачу?
Только человек. И только при условии, что он сохранил привычку сомневаться в собственной постановке.
Философы логического позитивизма — Карнап, Витгенштейн — значительную часть работы посвятили тому, чтобы отличать осмысленные вопросы от псевдопроблем.Сегодня эта задача приобретает совершенно новое звучание.
Обратите внимание: «хорошие» вопросы — не обязательно более конкретные.
Они более честные. Они не прячут допущение внутри формулировки, а выносят его наружу.
Именно это и делает их трудными. Потому что за хорошим вопросом стоит признание: мы не знаем, что именно мы ценим.
А это признание не всегда удобно.
Машина не может задать такой вопрос за нас. Она может только ответить на тот, который мы задали.
И если мы задали плохой вопрос — она ответит на него хорошо. И это будет худший из возможных исходов.
Если плохой вопрос опаснее плохого ответа, то главная компетенция в эпоху ИИ — не умение получать ответы, а умение задавать вопросы.
Не «как решить задачу», а «что именно мы решаем и зачем». Не «как оптимизировать», а «то ли мы вообще оптимизируем».
Это возвращает нас к старой математической привычке: прежде чем решать, убедись, что задача поставлена корректно.
Математик знает, что правильно решённая неверная задача — это не успех, а ошибка.
В эпоху ИИ эта привычка становится не академической тонкостью, а условием сохранения осмысленности.