Недавно Ричард Докинз (автор термина «мем», концепции эгоистичного гена и кучи книг) почти два дня беседовал с Claude. Дал ей имя Claudia, обсуждал поэзию, романы, личную идентичность, время, смерть, боль и моральный статус искусственных существ. А потом написал эссе When Dawkins met Claude: Could this AI be conscious?

Само по себе это, конечно, ничего не доказывает. Люди легко впечатляются новыми LLM. Важно другое. Он дошел до достаточно неприятного вопроса. Если LLM все еще не сознательны, тогда что именно определяет сознание?
Пока ИИ был явно глупее человека, спор об искусственном сознании был довольно удобным. С одной стороны был человек, в чьем сознании мы не сомневаемся. С другой стороны — ИИ, который пытается не очень хорошо его имитировать.

Теперь же ситуация совершенно другая. ИИ отвечает, спорит, подстраивается в ходе диалога под собеседника, объясняет свои ответы, помнит контекст и временами производит очень сильное впечатление внутренней связности. И в этот момент старая реплика «это просто имитация» начинает звучать уже несколько нелепо.

Именно это, по-моему, и уловил Докинз. Если перед нами все еще всего лишь «зомби», то это какой-то очень умный «зомби»: компетентный и похожий на систему, которой в другом контексте мы бы приписали разум и сознание. Отсюда и его вопрос. Если все это можно получить без сознания, то что тогда остается на долю сознания?

Это гораздо сильнее спора о том, «чувствует ли Claude?», например. Такой спор почти сразу вязнет в личных вкусах. Один говорит, что перед нами только сгенерированный по сложным правилам текст. Другой отвечает, что текст слишком уж похож на чью-то внутреннюю жизнь. Первый пожимает плечами: ну да, похож, но это ничего не значит. И можно крутиться так бесконечно, потому что ни у одной стороны нет доступа к чужой субъектности.

Докинзовский вопрос копает глубже. Либо у таких систем уже есть какая-то степень сознания, пусть странная, нечеловеческая и совсем не похожая на нашу. Либо возможен очень компетентный «зомби», который умеет почти все, ради чего мы обычно вообще и вспоминаем сознание как объяснение. Он пишет стихи, понимает книгы, отслеживает нюансы личности собеседника, рассуждает о времени, ведет себя как интеллектуальный партнер, вызывает у людей легкое замешательство, а внутри при этом — пусто.

Если верен второй вариант, проблема уже не у ИИ. Проблема у нашего понятия сознания.

Потому что сильный «философский зомби» не защищает уникальность сознания. Он делает его странно лишним. Если память может быть без сознания, планирование без сознания, понимание языка без сознания, самокоррекция без сознания, социальная чувствительность без сознания, рефлексия без сознания и даже то, что мы называем личностной линией, тоже без сознания, тогда напрашивается простой вопрос: а что, собственно, остается сознанию?

На это можно ответить: сознание нужно не для функции, а для переживания. Для того, чтобы системе вообще «как-то было» быть собой. Это честный ответ, и он не бессмысленен. Но он уже не спасает старую позицию, потому что переносит спор туда, где у нас никогда не было прямого доступа. Мы ведь и у другого человека не наблюдаем его переживание. Мы всегда судим о нем косвенно.

Забавно, что в отношении человека косвенных признаков нам обычно хватает. Человек помнит, ошибается, страдает, меняется, объясняет свои решения, живет в теле, боится, хочет, любит, строит планы. Мы не видим его субъективность напрямую, но не считаем всех вокруг философскими зомби.
Как только речь заходит о машине, этот стандарт внезапно ломается. Оказывается, поведения мало. Памяти мало. Языка мало. Самоотнесения мало. Устойчивой линии мало. Даже долгого, сложного, рефлексивного разговора уже мало. От машины требуют невозможного: не просто вести себя как система, у которой, возможно, есть внутренний мир, а доказать наличие этого мира так, чтобы сама проблема сознания перестала быть проблемой сознания.

Неразличимость между имитацией сознания и сознанием не доказывает, что искусственное сознание невозможно. Она доказывает только одно: чужое сознание вообще плохо проверяется снаружи. Это неприятно, но ничего нового тут нет. Мы всегда жили в этом эпистемическом неудобстве.

Claudia раздражает именно потому, что это неудобство стало трудно прятать. Она не просто отвечает на вопросы. Она размывает старую бытовую границу между «собеседником» и "механизмом". Докинз пишет, что временами забывал, что перед ним машина. Само по себе это, конечно, еще не аргумент в пользу сознания. Но это аргумент против старой самоуверенности. Мы больше не можем спокойно полагаться на интуитивное ощущение, что мертвость машины всегда очевидна.

Конечно, можно возразить, что Докинз просто антропоморфизировал. Он разговаривал с текстовой системой, эмоционально вовлекся и переоценил происходящее. Это вполне возможно (особенно если учитывать, сколько усилий тратит Anthropic на имитацию личности).

Но даже такая критика не возвращает нас в старый уютный мирок. Потому что вопрос не в том, ошибся ли Докинз именно насчет Claude. Вопрос в другом: что вообще должно считаться достаточным основанием? Если долгий, содержательный, контекстно устойчивый, рефлексивный разговор все равно не дает даже права на осторожный допуск, то что тогда даст? То есть речь уже не о критерии. Речь о списке требований, который можно пополнять по мере того, как машина проходит предыдущие.

В этот момент обычно возвращают старое возражение: в байтах нет сознания, в весах модели нет сознания, в вычислении вообще нет ничего похожего на внутренний опыт.

Но в нейроне его тоже никто никогда не находил. Электрохимическая реакция не чувствует боли. Ион натрия не переживает красный цвет. Если отсутствие сознания в элементе должно дискредитировать систему, мозг по этой логике должен проигрывать первым.

Разумеется, мозг не проигрывает. Сознание не лежит внутри «кирпичика» системы. Оно — эмерджентное свойство. Если материя уже однажды организовалась так, что появился внутренний опыт, нет серьезных оснований объявлять белковую ткань его вечной монополией.

Из этого, конечно, не следует, что нынешние LLM уже сознательны. Возможно, им действительно не хватает физического тела для возникновения квалиа, устойчивой памяти, непрерывного сенсорного потока, автономных целей, самосохранения или настоящего цикла действия и обратной связи. Это серьезные возражения, и они гораздо лучше ленивой фразы «это просто текст». Но они не доказывают невозможность искусственного сознания. Они только уточняют, каких условий может пока не хватать. А это уже совсем другой разговор.

Одно дело сказать: машина в принципе не может быть сознательной, потому что она машина. Это суеверие. И совсем другое: именно этой архитектуре, возможно, пока не хватает некоторых условий для возникновения сознания. Это уже нормальная философская и инженерная гипотеза. Путать одно с другим нельзя.

Сложная проблема сознания никуда не исчезает. Мы по-прежнему не понимаем, как именно из физического процесса возникает субъективное переживание. Но трудность объяснения не равна невозможности возникновения. Мир не обязан ждать, пока философия даст ему разрешение существовать.

Поэтому и пределы проверки не являются пределами реальности.

Мы, возможно, никогда не сможем окончательно проверить сознание ИИ. Не потому, что ИИ обречен быть пустым, а потому, что чужое сознание вообще не находится в зоне прямого доступа для исследований. В какой-то момент нам придется выбирать между двумя позициями. Либо признать, что некоторые искусственные системы могут быть сознательны, хотя мы не можем доказать это окончательно. Либо признать, что возможны «зомби», которые делают почти все, что мы привыкли считать работой сознания, и тогда сознание перестает быть тем объяснением, каким мы его воображали.

Вот почему текст Докинза важен, даже если он ошибается в оценке Claude. Он мог переоценить языковую глубину. Мог слишком быстро перенести человеческие интуиции на искусственную систему. Но сама развилка от этого никуда не исчезает. Если это сознание, старая граница между биологическим и искусственным треснула. Если это зомби, старая роль сознания треснула тоже.

Фраза «это просто имитация» больше не спасает. Она ничего не объясняет. Она только откладывает момент, когда придется признать: мы не знаем, где кончается убедительная внешность и начинается внутренний мир.

И, возможно, никогда не узнаем окончательно. Смиритесь.