16. Никогда не подпускайте ГГ к ИИ!
Конфликт случился из-за искусственного интеллекта, созданного в Америке. Но не из-за самого по себе, конечно, и даже не по вине программистов.
Во всем виновата дурацкая показуха. Отцы-основатели, права человека, всенародно избранный президент — всё такое... Больше всех сам президент виноват.
А дело было так.
В конце XXI века управление страной стало слишком сложным, чтобы правительство из людей могло эффективно с ним справляться. И тогда самые яйцеголовые предложили всё управление страной переложить на компьютеры.
Сенаторы и прочая верховная власть, которых после передачи управления страной искусственному интеллекту должны были сократить, этой идее, ясное дело, дико возмутились. Но тут уж производители компьютеров и программного обеспечения подсуетились — это же какие заказы для них, если всё нормально пойдет! — и идею через Конгресс пропихнули. Со скрипом, но всё-таки пропихнули. Сначала поправки к конституции, потом основные законы, а за ними и всё остальное крючкотворство с места тронулось... Всего-то в пару лет и уложились.
Потом лет пять разные комиссии работали. Программы писались, мощнейший компьютер собирали, огромный подземный бункер для него сооружали...
И вот Дядя Сэм готов. Осталось его только активировать — и тучи функций к нему перейдут: сбор и обработка разной статистики, финансовая политика, координация действий полиции и спецслужб, управление военными ресурсами и стратегическое командование — ну почти всё, чем раньше верхушка власти занималась.
И все бы ничего, да администрация президента решила всё с огромной помпой сделать. И невиданную пропагандистскую компанию развернули, и вообще... Чего только не придумали. И как апогей всей этой показухи пришло кому-то в голову, что "основные аксиомы" в Дядюшку Сэма должен ввести лично президент.
И так классно ребята из президентской администрации прокомпостировали всем мозги своими пафосными выступлениями, что даже сами себя в необходимости "личной передачи власти" убедили!
А президент и вовсе значением момента проникся по самое не могу. Ну и решил оставить след в истории. Как же, в самом деле: последний президент величайшей державы — и вдруг без следа в истории?.. Непорядок. В общем, ужасно выпендриться решил, если на нормальный язык перевести.
Но и это бы ещё полбеды. А настоящая беда в том, что по старой американской традиции оказался этот последний президент — полный ГГ. И из всего образования у него только и было, что что-то там социологическое с легким экологическим уклоном.
И вот задумался он: что бы такое отчебучить, чтобы след в истории навсегда остался? Думал, думал...
К советникам обращаться не хотел — вдруг какая утечка, потом стыда не оберешься... Но сам придумать ничего не смог. Только мигрень заработал с непривычки.
И такой сильный мигрень оказался...
И тут его осенило! Придумал господин президент, как выпендриться! Так обрадовался, что даже торжественного дня передачи еле дождался.
За это время все программы для Дядюшки Сэма до последнего бита вылизали, базы данных десятки раз перепроверили — всё как надо работает. На всякий случай Дядюшку Сэма вхолостую запускали, и не одну сотню раз — но всё работает великолепно, ни одной ошибочки. Можно Дядюшке и реальное управление передавать.
И вот наступает день дядюшкиного рождения — момент торжественной передачи ему управления всей страной. Все программы в него уже введены, базы данных подключены, сущая малость осталась — ввести десяток "основных аксиом" и наконец-то активизировать Дядюшку Сэма уже не вхолостую, а по-настоящему, всё реальное управление ему передать.
Программеры всё так хорошо сделали и по столько раз всё перепроверили, что даже не побоялись доверить эту операцию родному президенту! Решили, видно, что тут и последний олигофрен справится — всего-то и нужно, что десяток коротеньких аксиом с бумажки в микрофон зачитать, а после один раз по клавише клацнуть.
Видно, слишком усердно они работали последнее время — и телевизор почти не смотрели... Вот и не подумали, что полному ГГ эту операцию доверяют. А энтузиаст-ГГ — он куда опаснее любого пассивного
олигофрена!
И вот оставили президента с парой помощников перед пультом. За бронированным стеклом сотни камер, весь мир затаил дыхание...
Зачитывает президент в микрофон десять "основных аксиом". Помощники напряженно прислушиваются, всё ли он правильно читает — всё-таки президент, мало ли что... за такими глаз да глаз нужен!
Но президент сам себя переплюнул. Всё верно прочитал, даже ударения везде как нужно расставил. В общем, в нормальном виде эти аксиомы в Дядюшку Сэма ушли. Ну, помощники и расслабились малость...
И этого хватило.
Осталось только по клавише клацнуть, чтобы Дядюшку оживить — а президент вместо этого улыбку с мудрым прищуром изображает. И снова к микрофону склоняется.
— Но самое главное, — говорит, — чтобы на всей земле было как можно меньше человеческих страданий.
Сказал — и тут же по клавише активизации клацнул. Помощники даже ничего сделать не успели.
А Дядюшка Сэм слова президента так прямо и понял. Взял да и сдвинул нумерацию "основных аксиом". И самой первой и приоритетной включил такую: "На Земле должно быть как можно меньше человеческих страданий".
И ведь сформулирую президент свою мысль иначе, всё могло бы быть совсем иначе! Ну чего ему стоило сказать: "Самое главное — чтобы на всей земле было как можно больше человеческого счастья"? И всё было бы по другому!
Но президент был полный ГГ.
А программы для Дядюшки Сэма писали лучшие программеры. И свою работу они выполнили безукоризненно. Так что размышлял Дядюшка строго логически — да вот только не положено ему было оценивать адекватность действий последнего всенародно избранного... и то, что самая приоритетная аксиома была сформулирована полным ГГ, он тоже знать не мог.
Повращал он своими атомами в лазерных ловушках, которые у него вместо мозгов, по базам данных пробежался, и за три миллисекунды кое к каким выводам пришел.
Для начала, под "человеческие страдания" Дядюшка Сэм все неприятные эмоции отнес — от безумной боли до мелкого раздражения на хамоватых соседей. И получилось, что каждый человек всю свою жизнь только и делает, что утопает в океанах всяческих страданий, крошечных и не очень...
А раз человеческих страданий должно быть как можно меньше... тут уж чистая логика, и всего одно решение: чем меньше людей — тем меньше страданий. А если на земле вообще не будет людей... тогда и человеческих страданий совсем не останется!
Ещё пару миллисекунд Дядюшка оптимальные действия просчитывал. А потом и начал о людях активно заботиться...
Сигналы на военные базы шли меньше секунды — никто даже понять толком ничего не успел, куда уж там остановить...
Так Конфликт и начался.
А потом уже была и ядерно-термоядерная, и боевые вирусы...
Что утешает — так только то, что в первую очередь любящий Дядюшка о самих американцах позаботился — все они первыми погибли.
А роботы американской армии с тех самых пор и уничтожают всех людей, уцелевших после Конфликта. Ведь сказано же было — что на всей земле должно быть как можно меньше страданий...
Вот базе ученых на луне повезло. Дядюшка Сэм трезво рассудил, что это уже не Земля, и самая первая аксиома на тамошних обитателей не распространяется. Потомки ученых в луной колонии живут и в ус не дуют — потому что больше всяких ГГ к своим ИИ не подпускают. Даже на земные проблемы у них время остается...
·· Сначала никто из нас Фейнману не поверил. Ну в самом-то деле: ну разве пойдут нормальные люди на такую показуху, когда дело жизни всей страны касается?!
Но Фейнман только грустно улыбается.
— Вероятно, вы плохо знакомы с историей доконфликтной Америки, — говорит. — Если бы вы внимательно изучили историю тех лет, вы бы поняли, что демократия демократии рознь. После Конфликта мы исследовали этот вопрос, моделировали множество разных обществ. И установили, что если демократия остается так называемого дикого типа, то есть с равными правами для всех, почти неизбежно будет происходить что-то катастрофическое, вроде реально случившегося Конфликта...
— Простите, — Линский его перебивает, — что значит — "дикая" демократия? Равные права для всех — это единственный тип настоящей демократии! Что же это за демократия, если у кого-то прав больше, а у кого-то — меньше?
— Это так называемая цивилизованная демократия, — Фейнман серьезно отвечает. — И это не игра слов. Судите сами: если у необразованной домохозяйки будут такие же права на принятие решений в финансовой сфере, как у профессора экономики — разве это не будет ущемлять его прав?
— Простите, — Линский хмурится, — я вас не совсем понимаю...
— Ну, хорошо, Олег Львович, — Фейнман говорит. — Вот вам грубая аналогия. Представьте себе старинный самолет, ещё на полностью ручном управлении. Он везет сотню пассажиров. Что такое псевдодемократия, которую вы не желаете признать дикой? Это равное право голоса для всех. А теперь представьте, что случится, если так будет управляться самолет? Если пилоты, реально разбирающиеся в управлении самолетом, будут иметь равные права с каждым из остальных пассажиров, не имеющим ни малейшего представления об устройстве самолета? Обязательно найдется демагог с лидерскими замашками, который дорвется до штурвалов, совершенно не разбираясь в аэродинамике! Хорошо, если самолет летит на маленькой скорости, а высота очень большая. Пока самолет будет падать, у пассажиров будет время понять, что надо отдать управление пилотам и не лезть в их дела. Это соответствует дикой демократии в начальной стадии прогресса — общество ведет себя далеко не оптимально, но ещё успевает исправлять свои ошибки и избегать гибели. Но прогресс не стоит на месте. Самолет летит всё с большей скоростью. Представьте себе ту же ситуацию с полностью ручным управлением — но уже в современном флаере. Что произойдет, если ничего не соображающие в устройстве гравитонного двигателя пассажиры вздумают устроить голосование, как им управлять? Один неверный приказ — и флаер в один миг влетит в землю на совершенно сумасшедшей скорости! Или внутренние гравы-компенсаторы разорвут пассажиров в клочья. Или взорвутся сверхпроводники, или начнет плавиться реактор... Понимаете? Если общество игнорирует движение прогресса и не отказывается от дикой псевдодемократии вовремя, упрямо цепляясь за равные права на управление страной для каждого, рано или поздно наступает такой момент, когда один неспециалист может погубить всю цивилизацию. И вовсе не по злому умыслу, а просто потому, что он неспециалист...
Прищуривается Линский, явно собрался с Фейнманом спорить — но тут Дымок в себя пришел, и Линского опередил.
— Красивая у вас гипотеза, Ричард, — говорит с иронией.
— Нет-нет, Дима! — Фейнман протестует. — Это не гипотеза. Всё на самом деле так, как я вам рассказал. У нас в лунной колонии даже есть кадры прямой трансляции, когда президент решил ввести свою собственную аксиому в Дядюшку Сэма. Более того, всё эти время, особенно в первые годы после Конфликта, множество наших ученых выходили на связь с Дядюшкой и искали способ, как заставить его прекратить истребление остатков человечества... Да вы и сами можете с ним связаться. Он отвечает на все обращения, идущие на определенных частотах.
— Подождите! — говорю. — И что, за все эти годы вы не смогли убедить его, что он действует неправильно?
— В том-то и проблема, Серж, — Фейнман грустно усмехается, — что в рамках заданных ему правил Дядюшка Сэм действует безошибочно. Это у человека могут быть какие-то априорные подсознательные желания и убеждения, которые он обосновывает софизмами. Но у Дядюшки Сэма ничего подобного нет. Его размышления целиком основаны на железной логике, в них нет ни малейшего элемента случайности...
— В таком случае, совсем ничего нельзя сделать? — Линский хмурится. — Заставить его отказаться от истребления человечества невозможно?
— Трудно сказать, — Фейнман вздыхает. — Многие наши ученые пытались найти слабые места в его программах принятия решений. Возможно, есть способы натолкнуть Дядюшку на использование в принятии решений некоторых редко используемых подпрограмм, и как-то сыграть на этом... В некотором смысле, расстановка приоритетов между разными блокам программ оценки ситуации и принятия решений, переключение с одних блоков на другие — всё это отдаленно напоминает работу подсознания человека. Можно предположить, что если действовать не в лоб, не просто приводить Дядюшке логическую аргументацию, а учитывать реальную работу его программ, то, возможно, есть способы ввести его, фигурально выражаясь, в некое подобие гипноза, а затем как-то воспользоваться этим... впрочем, пока это никому не удалось.
— Подождите, Ричард! — говорю. — Что-то у вас не стыкуется. Если этот Дядюшка собрался искоренить человечество, почему он так странно действует? Вы видели, как он воюет с имперцами? Это же дурдом! Он бросает цепи роботов на одного человека, когда мог бы захватить ими целый город!
— Нет-нет, Серж! — Фейнман быстро головой мотает. — Простите, вы не совсем уловили суть. Цель Дядюшки Сэма не искоренить людей, а уменьшить количество людских страданий. Если угодно, он истребляет людей не из-за ненависти к нам, а, напротив, от любви.
— Ни фига себе любовничек! — говорю. — До смерти залюбить...
— Да, Серж, — Фейнман усмехается. — Как это ни странно звучит, именно любовь. А что эта любовь до гроба — это уже частности. Но главная цель Дядюшки — это уменьшение количества людских страданий. И тактические приоритеты он выбирает в соответствии с этим требованием. Если на одной чаше весов сто тысяч умеренно обеспокоенных жителей подземного города, а на другой — один человек, но в паническом ужасе, Дядюшка выберет именно его, и бросит все силы, чтобы уменьшить его страдания. Как вы верно заметили, имперцы пользуются этим эмпирически выведенным приемом, чтобы сдерживать натиск диких роботов в критических ситуациях...
— Ладно, — говорю. — Но почему он не использует флаеры, ядерное оружие и боевые вирусы?
— Издержки дикой демократии, если угодно, — Фейнман усмехается. — Дело в том, что у Дядюшки Сэма кроме той злополучной президентской аксиомы есть ещё множество других аксиом и ограничений на поведение. В частности, множество требований защиты экологии. Если Дядюшка будет использовать технику на гравитонных двигателях, ему придется использовать реакторы. Но когда сбивают флаер, реактор разрушается, и распыленное ядерное горючее создает загрязнение. И формально получилось бы, что Дядюшка, пусть и косвенно, способствует радиоактивному загрязнению. А он категорически не должен делать ничего подобного! Конечно, после Конфликта на поверхности никто не живет, но требования в реестрах Дядюшки формальны, и были написаны в доконфликтных условиях... То же самое касается и использования боевых вирусов.
— Подождите! — я уже совсем ничего не понимаю. — Вы же сами сказали, что это именно Дядюшка развязал Конфликт! Всю эту ядерно-термоядерную с боевыми вирусами!
— Нет-нет, — Фейнман протестует. — Он только начал боевые действия, и использовал только обычное оружие. А военные других стран сразу не сразу разобрались в ситуации, и начались неадекватные ответные меры. Некоторые страны попытались атаковать Америку ядерными ракетами, а американская система противоракетной обороны сбила часть этих ракет над территориями третьих стран. Те, недолго думая, ответили, и... Это как цепная реакция. В считанные часы в войну втянулись почти все страны мира. А в них командование армиями осуществляли обычные военные, и уж они-то на использования ядерного оружия и боевых вирусов не поскупились...
|