Станислав ЛЕМ
СУММА ТЕХНОЛОГИИ
ГЛАВА ЧЕТВЕРТАЯ
ИНТЕЛЛЕКТРОНИКА
(g) О МОРАЛИ ГОМЕОСТАТОВ
Пришло время ввести в сферу наших кибернетических рассуждений
моральную проблематику. Ситуация на самом деле обратная: не мы вносим
вопросы этики в кибернетику, а она, кибернетика, разрастаясь, охватывает
своими последствиями в числе прочего то, что мы называем моралью, то есть
систему критериев, дающих оценку действиям, причем оценку - с объективной
точки зрения - произвольную. Мораль в той же мере произвольна, как и
математика, поскольку обе выводятся с помощью логических рассуждений из
принятых аксиом. Можно, например, принять за одну из аксиом геометрии, что
через точку, лежащую вне прямой, проходит только одна прямая, параллельная
данной. Можно отбросить эту аксиому, и тогда мы получим неевклидову
геометрию. Самое главное отдавать себе отчет, когда именно мы поступаем
согласно принятым заранее условиям (как при выборе геометрических аксиом),
поскольку эти условия, этот выбор зависят от нас. Можно принять за одну из
аксиом морали, что необходимо уничтожать детей с врожденными физическими
уродствами. Тогда мы получим известную из истории "тарпейскую мораль",
которая в результате скандала, разразившегося в связи с талидомидом, в
последние годы подверглась страстному обсуждению и была окончательно
отброшена 1. Часто говорят, что существуют внеисторические моральные
императивы. С этой точки зрения "тарпейская мораль", даже в наиболее
смягченной форме (например, постулат эвтаназии 2 людей, испытывающих муки
вследствие неизлечимых болезней), будет аморальной, будет преступлением,
злом. В действительности же тут происходит оценка одной системы морали с
позиций другой. Разумеется, мы выбираем другую, "нетарпейскую" систему; но
коль скоро мы признаем, что и она возникла в процессе общественной
эволюции человека, а не дана нам свыше, мы должны признать и тот факт, что
в истории применялись и другие системы. Вопрос о расхождении морали
провозглашаемой и морали практикуемой вносит осложнения в эту проблему, но
они нас не интересуют, ибо мы ограничимся только описанием реальных
действий, исключая их вполне возможный камуфляж, или, проще говоря,
дезинформацию. Тот, кто дезинформирует, провозглашает на словах не ту
мораль, которую применяет на деле. Сама потребность в дезинформации
указывает на то, что определенные моральные аксиомы безраздельно
господствуют в общественном сознании, в противном случае не было бы нужды
в искажении фактов. Но даже сами факты могут в различных цивилизациях
получить диаметрально противоположную оценку. Сравним моральные аспекты
современной проституции и вавилонской. Вавилонские храмовые блудницы
отдавались не для личного заработка, а по "высшим мотивам" - их религия
одобряла такое поведение. Оно было в полном согласии с моралью, вытекавшей
из этой религии. Тем самым в рамках своего времени и своего общества они
не подлежали осуждению - в противоположность современным куртизанкам, ибо
по сегодняшним моральным критериям проституция - это зло. Таким образом,
одна и та же деятельность получает две прямо противоположные оценки в
пределах двух различных культур.
Введение кибернетической автоматизации влечет за собой довольно
неожиданные моральные проблемы. Стаффорд Бир 3, один из пионеров в области
кибернетизации больших капиталистических предприятий, постулировал
возможность создания "фирмы-гомеостата" и в качестве примера рассмотрел
теорию регулирования деятельности большого сталелитейного производства.
"Мозг" такого предприятия должен так оптимизировать все процессы, из
которых складывается выплавка стали, чтобы производство было наиболее
продуктивным, эффективным и независимым как от колебаний предложения
(рабочей силы, руды, угля и т. д.) и спроса, так и от внутренних изменений
в системе (неравномерность процесса производства, нежелательный рост
себестоимости изделий). Согласно представлениям Бира, такая
производственная единица должна быть ультрастабильным гомеостатом, который
немедленно реагирует на всякое отклонение от равновесия изменением
внутренней организации и тем самым возвращается к равновесию.
Оппоненты-специалисты, которым эта теоретическая модель была представлена,
обратили внимание на то, что ей недостает "религии". Бир сознательно
смоделировал это предприятие-гомеостат по принципу действия живого
организма. Но в природе единственным, по существу, критерием "ценности"
организма является его способность к выживанию любой ценой. Иначе говоря,
при случае также и ценой пожирания других организмов. Натуралист, понимая,
что в Природе не существует "системы моральных оценок", не считает
поведение голодных хищников аморальным. Таким образом, возникает вопрос:
"может ли", то есть "имеет ли право", "организм-предприятие" в случае
нужды "пожирать" своих конкурентов? Имеется много таких вопросов; правда,
возможно, не столь острых. К чему должно стремиться такое гомеостатическое
предприятие - к максимальной производительности или к максимальной
прибыли? А что, если с ходом времени неизбежные технологические сдвиги
сделают производство стали ненужным? Должна ли "тенденция к выживанию",
вмонтированная в "мозг" такой производственной системы, привести к ее
полной перестройке, так чтобы, например, она сама преобразовала себя в
производителя пластмасс? Чем должна руководствоваться такая система при
подобной полной реорганизации - степенью максимальной общественной
полезности? Или, опять-таки, величиной прибыли? Бир избегает ответов на
подобные вопросы. Он говорит, что над "мозгом" предприятия стоит еще
наблюдательный совет владельцев, который и принимает самые общие и важные
решения. "Мозг" призван только оптимально реализовывать эти решения. Тем
самым Вир отрекается от "автономно-организменного" принципа, входящего в
его концепцию, и выносит все моральные проблемы за пределы "черного
ящика": в сферу деятельности наблюдательного совета. Но это только
кажущийся выход. "Черный ящик", даже ограниченный таким способом, все
равно будет принимать решения морального характера, например при
увольнении рабочих или снижении заработной платы, коль скоро этого
потребует принцип оптимального функционирования предприятия как целого.
Легко представить себе также, что предприятие-гомеостат Бира может
вступить в "борьбу за существование" с другими предприятиями, которые
спроектированы кибернетиками, состоящими на службе у других корпораций.
Либо все эти машины будут настолько ограничены в своей деятельности, что
им придется непрестанно обращаться за решением к "менеджеру"-человеку
(например, запрашивать его, скажем, о том, можно ли сокрушить конкурента,
если подвернулся случай), либо же их деятельность, обремененная моральными
последствиями, будет расширяться. В первом случае нарушается основной
принцип саморегуляции гомеостата-производителя. Во втором случае
гомеостаты начнут оказывать на судьбу людей влияние, очень часто
непредвиденное их творцами, и дело может дойти до краха экономики страны в
целом просто потому, что какой-то из гомеостатов слишком хорошо
справляется с порученным ему делом, сметая всех своих конкурентов...
Почему в первом случае оказывается нарушенным принцип действия
"черного ящика"? Потому что такой "ящик", такой регулятор нисколько не
похож на человека - в том смысле, что ему нельзя задавать вопросы об
общественных последствиях принимаемых им на каждом этапе решений и
ожидать, что он сможет ответить на эти вопросы. Кстати говоря, даже
человек-"менеджер" зачастую не знает этих отдаленных результатов своей
деятельности. "Черный ящик", который должен "помочь выжить" предприятию,
реагируя на всевозможные флуктуации "входов" (цены на уголь, руду, машины,
зарплату) и "выходов" (рыночных цен на сталь, спроса на различные ее
сорта), и "черный ящик", который к тому же учитывал бы интересы рабочих, а
может быть, даже и конкурентов, - это два совсем разных устройства. Первое
как производитель будет эффективнее второго. Вред, который гомеостаты
наносят рабочим, можно, разумеется, ограничить, введя в исходную программу
(в "аксиоматическое ядро" поведения) статьи трудового законодательства,
обязательного для всех выступающих на рынке производителей; но тем самым
может быть увеличен вред для конкурирующих фирм или производителей стали в
других странах. Однако самое важное состоит в том, что "черный ящик" не
знает, когда именно он действует во вред кому-то, и от него нельзя
требовать, чтобы он информировал людей о таких последствиях принимаемых им
решений; ведь ex definitione 4 никто из людей, в том числе и
конструктор-проектировщик, не знает его внутренних состояний. Внедрение
гомеостатических регуляторов приводит к последствиям такого рода. Их-то и
имел в виду Норберт Винер 5, когда в новом издании своего основополагающего
труда "Кибернетика" посвятил отдельную главу непредвиденным результатам
деятельности гомеостатов. Могло бы показаться, что опасность такого рода
можно устранить в зародыше, создав "черный ящик" высшего типа в качестве
"машины для управления", но не людьми, а подчиненными ей "черными ящиками"
отдельных производителей. Последствия такого шага оказываются чрезвычайно
интересными.
1 Катастрофа, вызванная талидомидом, описана в книге Г. Глезера, Новейшие победы медицины ("Молодая гвардия", 1966). - Прим. ред 2
Эвтаназия (греч.) - безболезненное умерщвление, якобы в гуманных целях. - Прим. ред. 3
Ст. Бир, На пути к кибернетическому предприятию, в сб. "Принципы самоорганизации", изд-во "Мир", 1966. 4
По определению (лат.). 5
Н. Винер, Кибернетика, или управление и связь в животном и машине, изд. 2-е, изд-во "Советское радио", 1968.