Билл
Джой, один из учредителей фирмы Sun Microsystems, входящий в
число создателей языка "Ява", сопредседатель Президентской комиссии по
информационным технологиям:
"Теперь, перед перспективой создания
вычислительной мощности, близкой к человеческой, примерно через 30 лет,
мне приходит в голову мысль: что я, возможно, работаю над созданием
инструментов, которые позволят создать технологии, заменяющие нас самих.
Как я себя при этом чувствую? Очень неуютно".
Билл Джой предостерегает, что эпоха исполнения
самых фантастических и самых кошмарных
предостережений уже совсем близко либо даже наступила. Речь
идет не о чем ином, но о настоящем
Армагеддоне, то есть, конце света, конце человечества.
Совершенно неожиданно он приводит цитату из
«Манифеста» не кого иного, как Теодора
Качинского, террориста, прозванного
Унабомбер, который писал много лет назад, что компьютеры
сделаются настолько совершенными, что станут принимать свои собственные
решения без влияния
человека, и какой-то контроль постепенно сосредоточится в руках единственно
узкой «элиты», которая
отыщет предлог уничтожить всех остальных людей или -- если в ней найдутся
«мягкосердечные
либералы» -- превратить всех остальных людей в биороботов, лишив их
свободной воли путем
психологической или биологической инженерии.
Лев ГУНИН: ...не исключено, что осталось ждать считанные годы (дни? часы?), пока первый самопроизводящий объект появится на свет в результате человеческого инстинкта мультипликации и заявит свои права на жизненное пространство человека.
В апреле этого года в известном американском журнале "Wired" (сложно перевести это словечко, пожалуй, "Подключенный" более или менее подходит) появилась статья Билла Джоя "Мы не нужны будущему". (Bill Joy ; интернет-версию можно найти по адресу http://www.wired.com/wired/archive/8.04/joy_pr.html )
Мы уже навидались прогнозов о мировых катастрофах и начитались фантастических романов о восстании роботов; но когда об этом пишет один из учредителей фирмы Sun Microsystems, входящий в число создателей языка "Ява", сопредседатель Президентской комиссии по информационным технологиям, который работает в отрасли с тех времен, когда PDP-11 казалась технологическим чудом, надо прислушаться повнимательнее.
Джой пишет, что сам раньше считал "одушевленных роботов", персонажами фантастических романов; но последние события заставили его поверить в возможность появления таких роботов в недалеком будущем. Одним из таких событий был разговор с изобретателем и писателем Рэем Курцвейлом (Ray Kurzweil) на одной из конференций. Курцвейл дал Джою прочитать препринт своей новой книги "Эра одушевленных машин", готовящейся к печати. Один из фрагментов - цитата, принадлежащая, как потом оказалось, Теодору Качинскому (Theodore Kaczynski) , известному, как Unabomber, который организовал серию взрывов в США, - привлекла внимание Джоя.
Качинский строил свою аргументацию, как Евклид строил свою геометрию - теорема за теоремой. Предположим, пишет он, что компьютерщики достигнут успеха в создании роботов, способных выполнять все, что делают люди, но лучше их. Далее возникает два варианта поведения - либо отдать все на усмотрение роботов, либо сохранить контроль за собой. Если отдать все на усмотрение роботов, то будущее человечества окажется на их милости. Весьма скоро люди перестанут вообще понимать смысл происходящего, поскольку сложность процессов будет быстро расти.
Если же люди решат сохранить за собой контроль над компьютерами, то в руках рядового человека окажется управление какими-то маленькими киберсистемами - дом, машина, РС. В руках же тончайшего слоя элиты останется - так же, как и сейчас - контроль над колоссальными системами управления корпорациями и государством. Возможности этого слоя по управлению обществом станут почти безграничными - причем по управлению, незаметному для самого общества. Элита управляла обществом и раньше, однако при этом появится очень важное новое обстоятельство - рядовые жители будут больше не нужны экономике. Производство, наконец, освободится от зависимости от живых людей. Если элита окажется жестока - то она просто уничтожит ненужный балласт; если же элита будет "гуманна" - сделает из них избалованных домашних животных, которых кормят роботы и следят за тем, психику подопечных ничто не тревожило.
Далее Джой приводит интересный пример, взятый у Ганса Моравека: более десяти миллионов лет назад Северная и Южная Америки были разделены проливом; Южная была населена сумчатыми животными, наподобие Австралии. Позже дно поднялось, континенты соединились, и сумчатые всего за несколько тысяч лет были вытеснены плацентными, обладающими более эффективным метаболизмом. К моменту появления европейцев в Америке от сумчатых остались одни окаменелости. Так же на идеальном свободном рынке совершенные роботы вытеснят живых людей, труд которых обходится дороже, а эффективность меньше, пишет он.
Действительно, трудно придумать существа более расточительные, чем современные жители развитых стран. Дома в сотни квадратных метров на двоих - троих человек, хромированные джипы весом по две тонны, на 18-дюймовых колесах, с помощью которых мелкие юные особи перемещаются из дома до школы и обратно по ровнейшему асфальту, огромные количества "расходных материалов" - еды, одежды, шампуней, стиральных порошков. Роботам все это не нужно; они по 24 часа в сутки могут производить подобных себе или еще более совершенных, обходясь без баров и бассейнов.
Однако вытеснение - это приведенный Моравеком для убедительности пример; действительная позиция Моравека состоит в том, что роботы будут наследниками людей, раса которых угаснет постепенно. Еще один знакомый Джоя, Дэнни Хиллис, сформулировал это примерно так: "Конечно, я люблю свое тело, как никто другой; но если я получу вдвое больше в кремниевом, я возьму его".
В настоящее время возник и развивается ряд технологий, на основе которых возможно создание суперроботов. Это генетика, нанотехнологии и роботика, суммарно обозначенные в статье, как технологии GNR. Уже созданы макеты логических элементов размером в несколько молекул; молекулярные манипуляторы, способные собирать устройства размером с бактерию. Успехи нанотехнологий позволяют рассчитывать, что закон Мура будет действовать в обозримом будущем; в этом случае компьютеры достигнут сложности, сравнимой с человеческой, примерно к 2030 году. Интересно отметить, что почти ту же цифру (40 лет) я называл в статье "Взрыв сложности" (КТ, № 43, 98 г. - http://www.computerra.ru/1998/43/15.html )
Комбинация вычислительной мощности новых компьютеров с физическими методами манипулирования материей и генетическими технологиями освобождает колоссальную преобразующую силу - пишет Джой. Главное в этой комбинации то, что она способна воспроизводить себя, реплицироваться, без участия человека. Такого еще не было в истории человечества. И дальше:
"Теперь, перед перспективой создания вычислительной мощности, близкой к человеческой, примерно через 30 лет, мне приходит в голову мысль: что я, возможно, работаю над созданием инструментов, которые позволят создать технологии, заменяющие нас самих. Как я себя при этом чувствую? Очень неуютно".
Джой пишет, что он - не луддист, призывающий разбить все машины, что он все время работал над конкретными проблемами и в конкретных проектах. Он даже не думал о том, что в этой области могут существовать какие-то моральные проблемы - такие, как в работе над военными технологиями. Но беда в том, что мы все вовлечены в создание инноваций, последовательность которых приводит к результатам, о которых мы не предполагали, и при этом не в силах выйти из игры. Каждый из нас работает на свою фирму, а фирмы стремятся обойти другие в конкурентной борьбе, создавая все более изощренные технологии и устройства. Мы не в силах отказаться от работы, а фирмы - от участия в конкуренции; в результате общими усилиями мы создаем нечто, совершенно непредусмотренное.
Если раньше Джой полагал, что рост по закону Мура может приостановиться к 2010 году, то последние события - такие, как появление молекулярных технологий -заставляют его думать, что рост продолжится.
Я же как раз указывал в упомянутой статье, что процесс роста сложности имеет гораздо более давнюю историю, чем даже техника вообще, подобным образом росла сложность живых существ еще до возникновения человека и непонятно, отчего бы он должен был прекратиться именно сейчас. Закон Мура распространяется не только на микросхемы, но и на число клеток головного мозга в биологической эволюции.
Еще один источник и составная часть опасений Джоя, Эрик Дрекслер предполагает возможность создания ассемблеров - не языков программирования, а устройств - которые, манипулируя атомами и молекулами, могут создать по заданной программе любую вещь. Джой уверен, что прообразы таких устройств могут быть созданы в ближайшие двадцать лет. Так что машины умнее людей маячат на горизонте.
Можно представить еще одну возможность, еще один варант для нас, людей, - и об этом говорят эскаписты - загрузить наши личности в компьютеры (и шаги к этому уже делаются, см. статью об эксперименте с подключением нервной системы человека к компьютеру в предыдущем Wired http://www.wired.com/wired/archive/8.02/warwick.html ). Но останемся ли мы при этом людьми? Джой опасается, что нет. Действительно, кто знает, как изменится его душа, получив возможность подключаться к органам чувств, расположенным на другом конце света, переписываться из компьютера в компьютер, непосредственно читать память других душ, создавать копии и синхронизировать их вновь.
Он вновь и вновь возвращается к одной мысли - о том, что, раз возникнув, самовоспроизводящееся нечто - комплекс роботов, "ассемблеров" и генетически сконструированных организмов - сможет эволюционировать без нашего участия и в непредсказуемом направлении. "Как только разумный робот будет создан, останется только маленький шаг до возникновения рода роботов - до разумного робота, который может сделать свою усовершенствованную копию". Добавим: а эта усовершенствованная копия - еще более усовершенствованную, и так без конца.
Мораль, которую из всего этого выводит Билл Джой, довольно обычна: исследователи должны быть ответственнее, думать о последствиях своих работ, не забывать об этике и читать Далай-Ламу. Несколько более конструктивно приглашение к широкой дискуссии по проблеме GNR - технологий, чем я и воспользуюсь.
Разбор полетов
С самолета можно видеть морское дно, которое не видно с близкого расстояния, скрытое бегущими волнами. Похожим образом, бывает можно обнаружить некоторые закономерности, рассмотрев процесс с больших исторических расстояний. Так вот, человек использует искусственные приспособления уже много тысяч лет. Причем не только примитивные штучки, вроде палки, чтобы мешать в котле, но и бумагу (папирус, глину, бересту и т.п.) с пером либо стилосом. Взаимодействие человека с письмом намного более интимно, нежели с орудиями труда. Попробуйте оценить то, какая часть содержания вашего мозга попала туда через письменные знаки, и какая - через речь. Окажется, что самые важные знания и принципы прочитаны, а не услышаны. Значительная часть нашей личности сформирована великими книгами, написанными людьми, с которыми мы никогда не смогли бы встретиться "в реале", даже если они еще живы.
Если лишить человечество всех текстов и чертежей, имеющихся в его распоряжении, это будет опасней атомной войны; ведь кроме фантастических романов исчезнут и все инструкции, схемы, технологические карты, расписания и прочее - а кто помнит все это наизусть? Может, мы и смогли бы восстановить многое постепенно "из головы", но если все внешние носители информации исчезнут навсегда, то человечество быстро вернется в каменный век.
Что же отсюда следует? То, что человечество уже давно представляет собой человеко - машинную систему, которая только в таком виде может выполнять свои функции. Если отследить тенденцию, то часть информации этой системы, которая хранится вне человеческого мозга, постепенно повышается уже тысячи лет - со времен изобретения клинописи - и мы просто приближаемся к тому моменту, когда доля информации в человеке станет пренебрежимо мала.
Мы уже давно не можем действовать вне этих систем - хотя часто не замечаем этого. Мы не в состоянии воспроизвести даже кухонный нож или стакан без помощи систем колоссальной сложности, составленных из множества людей и машин. Более того, даже воспитать ребенка до необходимого сегодня уровня, мы не можем без использования систем - школы, университета - с их сотнями преподавателей, тысячами книг и журналов, лабораторий, компьютеров и прочего. Простая биологическая пара людей может воспроизвести только простого биологического Маугли, и только обработка в системе, состоящей не только из людей - и чем дальше, тем меньше из людей - может довести этого Маугли до приемлемого состояния. Для чего приемлемого? Да для использования в качестве элемента этих самых надчеловеческих систем.
В докомпьютерную эпоху человеческий мозг был единственной средой, процессором, в которой информация могла приходить в движение, взаимодействовать и порождать новые комбинации. Теперь же все большая часть движения информации, возникновения идей, происходит в компьютерах и компьютерных сетях. Только не надо разделять людей и компьютеры - они, вместе с бумажными книгами, составляют часть одной системы, которая иначе не может работать.
К тому, что говорил Джой о хардверных технологиях, можно добавить процессы, идущие в области софта - интенсификацию работ по эволюционному программированию, распараллеливанию вычислений, нейронным сетям - то есть, предпосылках создания самопрограммирующихся компьютеров. Интересно, что вновь возвращаются забытые было компоненты искусственного интеллекта - пресептрон в виде нейросетей, автоматическое программирование в виде эволюционных алгоритмов.
Постепенно становится понятно, что процесс, не смотря на свою скорость, непрерывен. Это не взрыв, а все ускоряющееся течение. Люди, постоянно имеющие дело с компьютерами, чувствуют, что все большая часть выполняемой ими работы перемещается в компьютер. Потеря накопленных годами файлов превращается в потерю части себя. Мы перетекаем в компьютеры постепенно. С созданием прямого интерфейса между мозгом и компьютером, что будет сделано в ближайшие годы, процесс перетекания ускорится.
Ницше писал в книге "Так говорил Заратустра": "Я учу вас о сверхчеловеке. Человек есть нечто, что должно превзойти. Что сделали вы, чтобы превзойти его? Все существа до сих пор создавали что-нибудь выше себя; а вы хотите быть отливом этой великой волны и скорее вернуться к состоянию зверя, чем превзойти человека?" Мы, как видите, сделали нечто, высшее, чем мы сами или близки к тому.
Судя по тому, что дальше сопоставляется человек и обезьяна, имелось в виду продолжение линии эволюции химия - биология - социология - ? Что дальше? Конечно, нельзя сказать, что технически малограмотный философ прошлого века угадывал то, о чем пишет сейчас Джой, но тенденцию он уловил верно.
Можно добавить еще пару слов на тему о способности к самовоспроизводству, которая справедливо беспокоит Джоя. Да, независимым может быть только то, что способно самостоятельно воспроизводить себя. Так что же воспроизводит себя сейчас? Человек? Ничего подобного. Независимо от остальной цивилизации современный человек вымрет за несколько недель. Воспроизводит себя именно цивилизация - наряду со всеми нужными для нее людьми, которых она производит точно также, как станки. Непосредственно для удовлетворения человеческих потребностей не нужны ни микроэлектронщики, ни ядерные физики, ни ракетчики, ни многие другие, удовлетворяющие потребности цивилизации - заводов, линий электропередачи, реакторов и суперкомпьютеров. Следовательно, опять же, мы имеем дело не с революцией, а с продолжением длительного процесса, который начался тысячи лет назад. Просто на каком-то этапе некоторые элементы эволюционирующей системы могут стать ненужными - как стали ненужными паровозы, только теперь этими элементами будем мы.
Значит, вопрос, который стоит перед нами, таков: или неограниченный прогресс и превращение биологического человека в балласт в общей системе цивилизации, или остановка прогресса.
Однако, можно ли остановить прогресс? Очевидно, для этого необходимо установить тотальный контроль над всей планетой. Иначе любое государство, которое не присоединится к мораторию на разработку GNR-технологий, в короткие сроки получит такие возможности, которые недоступны другим государствам, и сможет диктовать свою волю. Поскольку совершенно ясно, что это невозможно в ближайшие десятилетия, то мы обречены. Похоже, начинается не только новое тысячелетие, но и новый уровень организации материи во Вселенной, относящийся к нам так же, как мы относимся к обезьянам. Однако, хотя мы и обречены, мы необходимы будущему.
Но в каком смысле? Как мы нужны будущему?
Дело в том, что, как сегодня значительная часть цивилизации лежит уже вне человека, так - зато! - и грядущим роботам неоткуда взять иную цивилизацию. Социальной организации неоткуда было взять иную основу, кроме обезьян. Вот и ходят приматы, до сих пор вмонтированные внутрь общества - и даже сохраняя многие особенности организации обезьяньего стада. И сколь угодно молниеносным киберам будущего негде будет взять другую душу, кроме той, что возникла в человеческом обществе. Негде взять другую науку, другую историю, другую философию, другие принципы.
Та, новая, цивилизация, может быть только продолжением нашей (хотя и грустно сознавать себя обезьяной). Однако, подумайте - никогда не было последней обезьяны и первого человека. Природа не делает скачков - сказал древний философ. Превращение происходило постепенно, тысячи лет. Так и наша цивилизация постепенно перерастет и уже перерастает в новую, прорастая роботами и световодами, переплетающимися с людьми. Души будут все больше уходить в электронные джунгли. Эта перезапись неизбежна, потому что каждая душа представляет собой уникальное сочетание знаний и принципов, которую уже не повторить вновь - слишком велико число сочетаний. А каждое такое сочетание - возможно, единственный ключ к нерешенной проблеме, от которой зависит будущее.
Что же станется с нашими любимыми телесными оболочками? Я думаю, для новой цивилизации не составит проблемы поддерживать их в полном порядке. Возможно, мы будем иногда вылезать из компьютера в свое тело, чтобы погулять по лесу.
Но, боюсь, все реже.
По своей философской направленности антииндустриализм Качинского является наиболее последовательным развитием идей анархии. Если совсем вкратце, то его суть заключается в том, что человеческую свободу ограничивает не только (и даже не столько) государство, как таковое, но и всепроникающая инфраструктура современного индустриального общества, безжалостно подчиняющая каждого человека своим целям и ритмам. В принципе, идея эта отнюдь не нова и была весьма популярна у "новых левых" в шестидесятые, но в отличие от своих предшественников, всегда выступавших исключительно с позиций либерализма, Качинский сформулировал не только что есть зло, но и вполне конкретный идеал, к которому следует стремиться, а также пути достижения этого идеала. Одним из ключевых моментов антииндустриализма является утверждение, что в силу совершенно объективных причин развитие технологий всегда оказывает гораздо большее влияние на процессы общественной эволюции, чем естественное стремление каждого отдельно взятого человека к свободе, в связи с чем освобождение человечества от оков индустриализма в принципе не может быть достигнуто путём демократических реформ. Только революция, возможно - с использованием тероризма для внесения хаоса во всё более и более усложняющийся механизм взаимосвязанной мировой индустриальной экономики, с целью привести к полному краху последней и распаду человечества на отдельные малочисленные и слабо связанные друг с другом группы, живущие по законам пионеров "дикого Запада" - идеала свободы уже однажды достигнутого на Американском континенте, но впоследствии безвозвратно утраченного.
