Читаем The Glass Cage полностью

Совершенных нравственных алгоритмов не существует, в настоящее время нет возможности свести этику к набору правил. Философы пытались сделать это в течение многих столетий, но потерпели фиаско. Любые самые холодные расчеты зависят от ценностей и интересов человека, принимающего решение. Рациональный выбор страховой компании может в случае наезда на собаку не совпасть с решением человека – не важно, сделал он его с расчетом или просто рефлекторно. «В эпоху роботов, – замечает политолог Чарльз Рубин, – люди все чаще будут сталкиваться с требованиями морали» [3].

Тем не менее такие алгоритмы придется – волей-неволей – писать. Мысль о том, что человек сумеет вычислить наиболее достойные выходы из моральных тупиков, может показаться упрощенной или даже отталкивающей, но роботам и программам придется просчитывать способы решения моральных проблем. До тех пор пока искусственный интеллект не обретет некоего подобия сознания и не будет способен чувствовать или хотя бы имитировать такие эмоции, как привязанность или жалость, никаких перспектив у наших электронных родственников не будет. Люди могут сколько угодно горевать о том, что предоставили автоматам возможность принимать морально значимые решения до того, как научили их нравственности, но власть выработанных тысячелетиями этических норм остается доминантой. Если выпустить машины в самостоятельное плавание, то придется перевести моральные коды в коды компьютерных программ.

Вот другой сценарий. Представим себе батальон, составленный из людей и солдат-роботов. В составе батальона есть взвод «компьютерных снайперов», занявших позиции на перекрестках и крышах домов города, который батальон защищает от нападения партизан. Один из роботов берет на лазерный прицел человека в гражданской одежде, держащего в руке мобильный телефон. Человек ведет себя – с точки зрения военного опыта – достаточно подозрительно. Робот, оценив текущую ситуацию и просмотрев базу данных о поведении террористов в таких случаях, мгновенно подсчитывает, что 68 % вероятность того, что это террорист, готовый привести в действие взрыватель бомбы, и 32 % – что это мирный житель, не замышляющий ничего дурного. В этот момент на улицу въезжает бронетранспортер с взводом солдат. Если человек готов взорвать бомбу, то рвануть может в любой момент. Война не имеет кнопки «пауза». Здесь нет места человеческим рассуждениям. Робот должен действовать. Что прикажет программа его винтовке: стрелять или не стрелять?

Если гражданские люди еще могут рассуждать об этических следствиях внедрения самоуправляющихся автомобилей и других самостоятельных роботов, то у военных нет времени на такие размышления. В течение многих лет Министерство обороны и военные академии изучают методы и последствия наделения боевых машин правом принимать решения о жизни и смерти. Ракеты и бомбы, сбрасываемые с беспилотных самолетов, давно уже никого не удивляют, хотя и стали предметом ожесточенных дебатов. У обеих сторон есть веские аргументы. Сторонники наделения машин таким правом утверждают, что беспилотники позволяют уменьшить потери в живой силе, а точность ударов сокращает масштабы разрушений и жертв по сравнению с традиционными способами ведения боевых действий. Противники считают такое бомбометание санкционированным государством массовым убийством. Они утверждают, что ракеты и бомбы часто убивают и ранят мирных жителей. Правда, надо сказать, что такие ракетные удары не являются автоматизированными, они просто подчиняются дистанционному управлению. Самолеты летят самостоятельно и сканируют местность, над которой пролетают, но решение о нанесении удара принимают военнослужащие, сидящие перед мониторами и выполняющие приказы командиров. В их понимании современные беспилотные самолеты-ракетоносцы ничем не отличаются от крылатых ракет и другого вооружения. На гашетку и спусковой крючок нажимают все же люди, а не машины.

Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.