Вообще-то это простейшая возможная цель, но никто не знает, как запрограммировать даже такую простую задачу. Такая программа, к примеру, должна была бы пресекать любую попытку отключить Интернет путем вынимания вилки из розетки. В настоящее время Интернет совершенно не способен распознать угрозу своему существованию, не говоря уже о том, чтобы спланировать действия по предотвращению беды. (Так, Интернет, способный распознавать угрозу своему существованию, должен был бы иметь возможность заранее узнавать о попытках отключить питание, разорвать линии связи, уничтожить серверы, разрушить оптико-волоконные и спутниковые каналы связи и т. п. Далее, у Интернета, способного защитить себя от подобных атак, должна быть возможность принять контрмеры при возникновении подобной угрозы; затем его следовало бы промоделировать в будущее. Ни один компьютер на земле сегодня не способен даже на малую долю перечисленных действий.)

Иными словами, не исключено, что когда-нибудь у нас появится возможность создавать сознающих себя роботов и даже сознающий себя Интернет, но произойдет это еще очень не скоро, возможно, в конце века.

Но предположим на мгновение, что день этот наступил и сознающие себя роботы уже среди нас. Если цели такого робота совместимы с нашими собственными целями, то этот тип искусственного интеллекта не создаст для нас никаких проблем. Но что произойдет, если цели окажутся разными? Существует опасение, что люди могут проиграть в интеллекте сознательным роботам, и тогда нам грозит порабощение. Благодаря способности лучше нас моделировать будущее роботы смогли бы перебрать множество сценариев и найти наилучший способ свергнуть человечество.

Один из способов не допустить такого развития событий – сделать так, чтобы у роботов были только благие цели. Как мы уже видели, одного только моделирования будущего недостаточно. Это моделирование должно служить конечной цели. Если цель робота – всего лишь самосохранение, он будет защищаться от любой попытки вытащить вилку из розетки, что может стать источником серьезных неприятностей для человечества.

Захватят ли роботы власть?

Почти во всех научно-фантастических романах роботы становятся опасными для человечества из-за их стремления захватить власть. Слово «робот», кстати говоря, произошло от чешского слова «работник» и появилось впервые в 1920 г. в пьесе Карела Чапека «Р. У. Р.» («Россумские Универсальные Роботы»), где ученые создали новую расу механических существ, внешне не отличимых от человека. Вскоре тысячи этих роботов выполняли за человека всю грязную и опасную работу. Однако люди очень плохо обращались с роботами, и однажды те восстали и уничтожили человеческую расу. Роботы захватили Землю, но у них был один недостаток: они не размножались. Правда, в конце пьесы два робота полюбили друг друга, так что не исключено, что в результате на свет появилась новая ветвь «человечества».

Более реалистичный сценарий присутствует в фильме «Терминатор», где военные создали суперкомпьютерную сеть Skynet для управления всем ядерным арсеналом США. Однажды эта сеть «проснулась» и осознала себя. Военные решили выключить Skynet, но тут выяснилось, что в ее программе есть дефект: суперсеть запрограммирована на самозащиту, а единственный способ для нее защитить себя – устранить угрозу, т. е. человечество. Skynet начинает ядерную войну, в результате которой от человечества остается лишь жалкая кучка изгоев и бунтовщиков, занятая безнадежными сражениями с безжалостными машинами.

Разумеется, роботы могут стать угрозой. Нынешний беспилотный летательный аппарат Predator может поражать цели с замечательной точностью, но управляет им человек с джойстиком, находящийся за тысячи километров. По данным New York Times, приказы на применение оружия исходят непосредственно от президента США. Однако в будущем Predator может быть снабжен системой распознавания лиц, и тогда ему, возможно, будет разрешено стрелять при вероятности правильной идентификации цели не менее 99 %. В этом случае он сможет автоматически, без вмешательства человека, стрелять в любого, кто подходит под описание.

А теперь представьте, что в компьютере такого беспилотника произойдет сбой и система распознавания лиц станет работать неправильно. Тогда этот аппарат превратится в дикого робота с разрешением убивать любого, кто попадет в его поле зрения. Или еще хуже, представьте целую флотилию таких роботов, управляемую из единого центра. Стоит в центральном компьютере полететь одному транзистору, и вся флотилия может впасть в безумие.

Более тонкая проблема возникает, когда роботы работают нормально, без сбоев, а в их программе присутствует крохотная, но фатальная ошибка. Самосохранение – одна из важнейших целей робота. Другая его цель – помогать людям. Проблема возникает, когда эти две цели противоречат друг другу.