Искусственный интеллект получит новый универсальный тест на "разумность"

Логотип MLPerf


В последние годы область создания систем искусственного интеллекта (ИИ) переживает период бурного роста. На свете уже имеется достаточно большое количество таких систем и в будущем их станет несоизмеримо больше, благодаря тому, что они будут использоваться даже во встраиваемых системах из разряда "Интернета вещей". Сейчас практически каждый создатель новой системы ИИ сразу начинает хвастать ее возможностями, но определить эти возможности в численном выражении и сравнить их с возможностями других подобных систем пока еще не получается из-за отсутствия единого универсального теста, подобного тесту LinPack для суперкомпьютеров и тесту 3DMark для обычных настольных компьютеров.

Ситуация с тестом для искусственного интеллекта будет исправлена в ближайшем будущем. Не так давно, исследователи из компаний Google и Baidu, совместно с учеными из Гарварда и Стэнфорда, начали разработку нового теста для систем глубинного машинного обучения и самообучения. И сейчас к этой исследовательской группе уже присоединились специалисты компаний AMD, Intel, двух новых компаний SambaNova и Wave Computing, специализирующихся на искусственном интеллекте. Совместными усилиями этой группы ведется разработка тестового комплекса под названием MLPerfl, первая версия которого, согласно планам, будет готова уже в августе этого года.

Отметим, что специалисты компании Baidu уже имеют некоторый опыт в подобном деле. В 2016 году ими был создан тестовый комплекс DeepBench, имеющий открытый исходный код, который осуществлял тестирование систем искусственного интеллекта на низком уровне, близком к аппаратному. Система же MLPerf будет работать на более высоком уровне, проверяя искусственный интеллект на уровне отдельных приложений, выполняющих какую-либо конкретную задачу.

Первоначально система MLPerf будет замерять время, требующееся системе ИИ для обучения до минимально допустимого качественного уровня. При этом, качественный уровень так же будет определяться самой системой, что потребует для ее работы вычислительные мощности, превосходящие вычислительные мощности тестируемых систем. В качестве единицы отсчета в системе MLPerf будут использоваться возможности чипа Nvidia P100 Volta, который сейчас широко используется в системах глубинного машинного обучения.

В дальнейшей работе тест MLPerf будет использовать два подхода, при помощи одного подхода, закрытого и доступного лишь коммерческим пользователям, эта система определит модели объектов, структуры данных и ограничит пределы изменения значений для того, чтобы произвести наиболее достоверные результаты тестирования. Второй, общедоступный подход будет более ориентирован на исследователей в области ИИ, в нем будет задействовано меньшее количество ограничений, что позволит экспериментировать с самыми различными видами реализации систем искусственного интеллекта.

"Сейчас мы работаем на созданием версии 0.5 и мы делаем ее усилиями небольшой команды" - пишут разработчики системы MLPerf, - "Но мы надеемся, что вклад сообщества в версию 1.0 станет большим, мы будем поощрять любую обратную связь, внедрять разработанные сторонними специалистами эталонные определения и пользоваться результатами проведенных ими испытаний".




Ключевые слова:
Искусственный, Интеллект, Система, Тест, Возможности, Обучение, Уровень, MLPerf, Baidu, Google

Первоисточник

Другие новости по теме:
  • Новая самообучаемая система компании Google учится создавать другие самообу ...
  • Компания Cray начинает выпуск суперкомпьютерных кластеров, предназначенных ...
  • Компания Intel готовит новые средства, которые обеспечат 100-кратное ускоре ...
  • Проект Microsoft AIX - использование Minecraft и других компьютерных игр дл ...
  • Новый тест искусственного интеллекта - может ли машина сотворить произведен ...




  • 7 мая 2018 09:45
    #1 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 4236
    Пузомерка для ИИ -))) Интересно, насколько реально этот тест будет определять показатели ИИ, ведь для этого ему самому надо быть гораздо умнее....


    --------------------
        
    7 мая 2018 23:16
    #2 Написал: Helltorn

    Публикаций: 0
    Комментариев: 302
    Если речь идёт об аппаратных вычислительных возможностях ИИ, то никакой тест не нужен, просто пусть читают документацию производителя. Если же речь идёт об измерении именно интеллектуальных возможностей, то сначала нужно дать метрическое определение понятию ИНТЕЛЛЕКТ, ввести в оборот нулевое значение и шкалу с еденицей измерения! Парадокс заключается в том что последовательные логические цепочки не всегда являются Интеллектом, а иррациональное поведение нередко приводит к Интеллектуальному прорыву. Кроме того стандартизация понятия Здравый смысл по ряду обстоятельств для людей будет означать ЭВТОНАЗИЮ... Короче нам придётся все вещи называть своими именами, тем самым увидев мир и себя в крайне неприглядном виде. Считаю это НЕПРЕЕМЛЕМОЙ платой за прогресс!!! Нужно остановить и запретить пока не поздно (безобразие)!
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.