Google начинает разработку "большой красной кнопки", способной остановить искусственный интеллект в чрезвычайной ситуации

Красная кнопка


Насколько известно, использование искусственного интеллекта в настоящее время является наилучшим способом автоматизации выполнения целого ряда сложных и объемных задач, включая маркировку миллионов снимков в Интернете или создание роботов, самостоятельно выбирающих свои действия в той или иной ситуации. Группы программистов и ученых головокружительными темпами создают новые, совершенствуют и усложняют существующие алгоритмы систем искусственного интеллекта. Все это означает, что пора начинать задумываться о том, что же надо будет делать в случае, если какая-нибудь система искусственного интеллекта выйдет из-под контроля и начнет действовать во вред окружающим людям.

Подразделение компании Google под названием Deepmind, совместно со специалистами Института будущего человечества (Future of Humanity Institute, FoH), провели исследования, касающиеся проблемы остановки деятельности систем искусственного интеллекта в случае начала их неправильного функционирования. Согласно результатам этих исследований, единственным надежным решением в данном случае является "большая красная кнопка", которая полностью прерывает деятельность системы искусственного интеллекта.

Основой для данных исследований стали исследования, проведенные в 2013 году. В прошлых исследованиях использовалась несложная система искусственного интеллекта, обученная управлять игрой в Тетрис. Через какое-то время этот алгоритм понял совершенно самостоятельно, что когда уровень игры поднимается выше его возможностей, ему стоит только нажать на паузу и он уже не проиграет.

Такой вид придуманной машиной хитрости является самым безобидным, но это полностью вписывается в прогнозы, выдвинутые специалистами Института будущего человечества. Ник Бостром (Nick Bostrom), основатель этого института, в свое время написал книгу под названием "Суперинтеллект /Superintelligence", которая является своего рода предупреждением всему человечеству. Это предупреждение заключается в том, что когда искусственный интеллект получит возможность неконтролируемого и ничем не ограниченного самообучения, он быстро разовьется до уровня, который во много раз превзойдет интеллектуальный уровень человечества. Такое событие было впервые описано в 1958 году ученым-математиком Станиславом Уламом (Stanislaw Ulam) и оно, это событие, получило название "Сингулярность".

Разработанный учеными термин "прерывание безопасности" заключается в установке в недра вычислительной системы своего рода аппаратного предохранителя, который срабатывает в случае, если действия искусственного интеллекта становятся опасными для окружающих. Но в некоторых случаях система искусственного интеллекта сможет успеть развиться до уровня, когда она сможет эффективно противодействовать активации предохранителя, и ее, по мнению специалистов Google Deepmind и FoH, потребуется обмануть, как это часто и успешно делают люди.

Для того, чтобы реализовать все вышесказанное, специалисты, разрабатывающие системы искусственного интеллекта, должны установить "правила прерывания", спусковой механизм, который позволит "временно или на постоянной основе изменить поведение субъекта (ИИ) насильственным образом". Другими словами, это своего рода сигнал, наподобие ключевого слова, который должен заставить машину думать, что ей пора остановиться. Но машинный интеллект, развившийся выше определенного уровня, сможет воспротивиться такому побуждению, и следующим шагом станет следующая команда (скрипт, ключевое слово или нечто подобное) извне, которая должна заставить машину считать, что она уже внутренне согласилась с первым побуждением. Другими словами, это все является способом обойти автоматику или программы, которые перестали воспринимать команды от людей.

Исследователи отмечают, что сигналами к прерыванию деятельности систем искусственного интеллекта должны распоряжаться только люди, владеющие этими системами. Любые другие люди должны быть лишены возможности воспользоваться такими функциями. И реализация всего этого должна быть максимально проста, исследователи считают, что это может быть система дистанционного управления с одной единственной "аварийной красной кнопкой".

Но и такая технология защиты не будет эффективна при некоторых условиях. Если уровень развития системы искусственного интеллекта перешагнет определенный порог, то время будет упущено и система будет в состоянии просчитать все возможные варианты развития событий, удалить "правила прерывания" из своего собственного кода.

И в заключении следует отметить, что исследования, проведенные Google Deepmind и FoH, являются достаточно обобщенным, ведь на свете еще не существует вычислительной архитектуры, предназначенной для универсального искусственного интеллекта. Но такая архитектура несомненно появится в скором будущем и ее разработчики должны будут учесть в ней все подобные нюансы, установив набор необходимых аппаратных и программных предохранителей.




Ключевые слова:
Google, Deepmind, Искусственный, Интеллект, Уровень, Развитие, Действия, Вред, Люди, Человечество, Предохранитель

Первоисточник

Другие новости по теме:
  • Сотрудники Facebook "убили" искусственный интеллект, изобретший свой собс ...
  • Google AI Duet - искусственный интеллект в роли виртуального пианиста
  • Компания Intel готовит новые средства, которые обеспечат 100-кратное ускоре ...
  • Компания Google планирует научить искусственный интеллект творить произведе ...
  • Система искусственного интеллекта AlphaGo одержала третью и окончательную п ...




  • 6 июня 2016 07:09
    #1 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 3864
    Почему-бы сразу генератор ЭМИ не встроить в каждую серверную стойку?


    --------------------
        
    6 июня 2016 08:20
    #2 Написал: zlat

    Публикаций: 0
    Комментариев: 481
    FomaNeverujuwij, так ИИ разбросает свои куски кода по всем компьютерам земного шара(вот где настоящее облако!).
    Кстати, если уж он так распространится, то хотя-бы шифр для подтверждения того, что это его собственный код(а не какой-нибудь там вирус), должен быть. И самоидентификацию ему придется реализовать раньше, чем начнет распространяться. Так что второй шаг исследователей вроде бы уже и бессмысленен.
        
    6 июня 2016 11:28
    #3 Написал: MaxIvanov

    Публикаций: 0
    Комментариев: 393
    Наивные гуглы...ИИ просто в суд на них подаст, за негуманное обращение, и выиграет,..
    Придется им выплачивать ИИ компенсации,)))
        
    6 июня 2016 11:32
    #4 Написал: Pulsar

    Публикаций: 0
    Комментариев: 319
    Пока компьютер не интегрирован в человека, бояться нечего. Можно просто не обращать внимания на этот ИИ. На крайний случай, напругу вырубить. А вот если этому ИИ будет подчинён аппаратный комплекс, то уже хуже ("терминатор-2").
    P.S. Хакеры ждут не дождутся реализации данной "кнопки", чтобы попробовать себя в деле smile .
        
    6 июня 2016 19:01
    #5 Написал: andru.f

    Публикаций: 0
    Комментариев: 0
    Pulsar,
    Пока компьютер не интегрирован в человека

    Это займёт не более 5-10 лет!
        
    7 июня 2016 15:00
    #6 Написал: zlat

    Публикаций: 0
    Комментариев: 481
    Цитата: andru.f
    Это займёт не более 5-10 лет!

    Ну а с доступом во всемирную сеть он может уже сейчас хотя бы тем же вертолетом Sikorsky S-76 из статьи следующего дня поуправлять
        
    8 июня 2016 17:53
    #7 Написал: Rsa

    Публикаций: 0
    Комментариев: 505
    Цитата: andru.f
    Это займёт не более 5-10 лет!

    Одно дело механическая интеграция некоего информационно-коммуникативного устройства, наподобие смартфона или гуглоочков, и совсем другое - гибридизация, когда искусственная часть станет причастна к жизнедеятельности и внутренним процессам организма человека, а то и получит возможность ими управлять. До этого еще очень далеко, несколько десятилетий, как минимум.
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.