Станислав ЛЕМ
СУММА ТЕХНОЛОГИИ
ГЛАВА ЧЕТВЕРТАЯ
ИНТЕЛЛЕКТРОНИКА
(m) ПРИЗРАК В МАШИНЕ
"Призраком в машине" - the ghost in the machine- некоторые английские
психологи (например, Райл) называют убеждение в двойственной природе
человека, якобы слагающегося из "материи" и "души".
Сознание не является технологической проблемой, так как конструктора
не интересует, чувствует ли машина; для него важно, действует ли она.
Поэтому "технология сознания" может возникнуть, так сказать, только как
побочный эффект, если окажется, что определенный класс кибернетических
устройств обладает субъективным миром психических переживаний.
Каким путем, однако, можно установить наличие сознания в машине? Этот
вопрос имеет не только абстрактно-философское значение: если в некой
машине, предназначенной на слом из-за нерентабельности ремонта, будет
обнаружено сознание, то наш акт разрушения материального предмета, вроде
граммофона, превратится в акт уничтожения личности, сознающей свою гибель.
Можно было бы снабдить граммофон переключателем и такой грампластинкой,
что при попытке прикоснуться к нему мы услышали бы возгласы: "Умоляю,
пощади мою жизнь!" Как отличить такой несомненно бездушный аппарат от
мыслящей машины? Только путем разговора с ней. Английский математик Алан
Тьюринг в работе "Может ли машина мыслить?" 1 предлагает в качестве
решающего критерия "игру в имитацию", состоящую в том, что мы задаем
Кому-то произвольные вопросы и на основании полученных ответов должны
решить, является ли этот Кто-то человеком или машиной. Если отличить
машину от человека не удается, следует признать, что машина ведет себя как
человек, то есть обладает сознанием. Отметим, что игру можно усложнить.
Мыслимы два вида машин. Первый - "обычная" цифровая машина той же
сложности, что и человеческий мозг; с ней можно играть в шахматы, говорить
о книгах, о мире, на любые темы вообще. Открыв ее, мы увидели бы огромное
количество электрических цепей, соединенных в схемы, подобные нейронным
сетям мозга, затем блоки памяти и т.п.
Второй тип машин совершенно иной. Это увеличенный до размеров планеты
(или космоса) Граммофон. В нем очень много, например сто триллионов,
записанных ответов на всевозможные вопросы. Когда мы задаем вопрос, такая
машина, конечно, "ничего не понимает", но сама форма вопроса, то есть
последовательность колебаний нашего голоса, запускает реле, которое
приводит в действие пластинку или ленту с записанным ответом. Вопросы
технического рода оставим в стороне. Понятно, что такая машина
неэкономична, что ее никто не будет строить, потому что это невозможно, а
главное, непонятно, зачем ее надо было бы строить. Нас интересует
теоретическая сторона. Если не внутреннее устройство, а одно лишь
поведение решает вопрос о наличии сознания в машине, то не поспешим ли мы
с выводом, будто у "космического граммофона" есть сознание, - и тем самым
выскажем заведомый nonsense (или, точнее, ложь)?
Удастся ли, однако, запрограммировать все возможные вопросы?
Разумеется, человек в среднем за свою жизнь не отвечает и на миллиард
вопросов. Мы же могли бы записать на всякий случай во много раз больше.
Как поступить в этом случае? Необходимо вести игру с достаточно гибкой
стратегией. Мы задаем вопрос: любите ли вы анекдоты? Машина, предположим,
отвечает, что она, конечно, любит анекдоты, только остроумные. Мы
рассказываем ей анекдот. Она смеется (точнее, смеется голос в телефонной
трубке). Либо этот анекдот был записан на ее лентах, что позволило ей
включить нужную реакцию, либо это действительно мыслящая машина (или
человек, ведь мы и этого не знаем). Мы разговариваем еще некоторое время,
затем внезапно спрашиваем, помнит ли она анекдот, рассказанный перед этим?
Если она действительно мыслит, она должна помнить. Она скажет, что помнит.
Мы попросим повторить его своими словами. А вот это уже очень трудно
запрограммировать, потому что тут мы вынуждаем конструктора
"космограммофона" записать не только все возможные ответы, но и целые
последовательности фраз, какие могут встретиться в разговорах. Это уже
требует памяти, пластинок или лент в количестве, какого, быть может, не
вместит вся солнечная система. Предположим, что машина не может повторить
анекдот. Мы "разоблачаем" ее: это граммофон. Конструктор, уязвленный в
своем самолюбии, начинает совершенствовать машину, достраивая к ней
память, с помощью которой она могла бы повторять рассказанное. Но тем
самым он делает первый шаг на пути от машины-граммофона к мыслящей машине.
Бессознательная машина не может установить тождественность вопросов с
аналогичным содержанием, но сформулированных хотя бы с небольшими
формальными отклонениями; поэтому вопросы "Хорошо ли было вчера на
улице?", "Хорошая ли стояла вчера погода?", "Не был ли погожим денек,
предшествовавший сегодняшнему?" и т.д. и т.п. для такой машины различны,
тогда как для мыслящей они тождественны. Конструктор вновь и вновь
разоблачаемой машины должен будет все время ее переделывать. Наконец,
после длинной серии переделок он введет в машину способность к индукции и
дедукции, к ассоциациям, к пониманию одинаковой сути по-разному
сформулированных, но одинаковых по содержанию вопросов и т.п. И в конце
концов он получит "обыкновенную" мыслящую машину.
Возникает занятная проблема: в какой, собственно, момент в машине
появилось сознание? Предположим, что конструктор не переделывал машину, а
относил каждый раз в музей и следующую модель строил заново. В музее
собралось 10000 машин - таково было число модификаций. В сумме это дает
плавный переход от "бездушного автомата", вроде музыкального ящика, к
"машине, которая мыслит". Какую машину мы должны считать уже сознательной
- No7852 или только No9973? Они отличаются одна от другой тем, что первая не
умела объяснить, почему она смеется над анекдотом, и лишь повторяла, что
он чертовски смешон, а вторая умеет. Но некоторые люди смеются, слыша
анекдоты, хотя не могут объяснить, что в них смешно. Известно, что теория
юмора - трудный орешек. Лишены ли эти люди сознания? Конечно, нет; они,
по-видимому, не слишком сообразительны, малоинтеллигентны, их ум не
обладает сноровкой в аналитическом подходе к проблемам; но мы ведь не
спрашиваем, умна машина или туповата, а только есть у нее сознание или
нет.
Следует, по-видимому, признать, что у модели No1 нулевое сознание, а
модель No10000 обладает полным сознанием, тогда как сознание всех
промежуточных моделей "все возрастает". Эта констатация показывает всю
безнадежность затеи точно локализировать сознание. Отключение отдельных
элементов ("нейронов") машины приведет лишь к едва заметным количественным
изменениям ("ослаблению") сознания, как делает это в живом мозге болезнь
или нож хирурга. Материал и размеры "мыслящего устройства" не имеют
никакого значения для данной проблемы. Можно построить мыслящую машину из
отдельных блоков, отвечающих, скажем, отдельным мозговым извилинам.
Разделим теперь эти блоки и разместим их по всей Земле - в Москве, в
Париже, в Мельбурне, в Иокогаме и т.д. Сами по себе эти блоки "психически
мертвы", но соединенные друг с другом (телефонным кабелем, например) они
составляли бы единое целое, "личность", единый "мыслящий гомеостат".
Сознание такой машины, конечно, не находится ни в Москве, ни в Париже, ни
в Иокогаме. В определенном смысле оно находится в каждом из этих городов,
и вместе с тем - ни в одном из них. Ведь нельзя сказать о сознании, что
оно, как Висла, протянулось от Татр до Балтики. Да и сам человеческий мозг
тоже ставит перед нами, хотя и не столь резко, аналогичную проблему -
кровеносные сосуды, белковые молекулы и соединительные ткани находятся
внутри мозга, но не внутри сознания; нельзя также и сказать, что сознание
находится под самым сводом черепа или что оно расположено немного ниже,
возле ушей по обе стороны головы. Оно "рассеяно" по всему гомеостату, по
всей его функциональной сети. И больше ничего о сем предмете сказать мы не
можем, если хотим сочетать рассудок с осмотрительностью.
1 А. Тьюринг, Может ли машина мыслить?, Физматгиз, 1960.