Тридцать лет назад взгляды Джеффри Хинтона на нейронные сети вызывали недоумение. Теперь сложно найти кого-то, кто не согласен с ними. В интервью пионер глубокого обучения рассказал о том, что нужно для того, чтобы ИИ смог работать как мозг человека, и как, по его мнению, действует сознание человека.
В первые два года лучшие команды не могли добиться даже 75% точности. Но на третий три человека — профессор Джеффри Хинтон и два его студента — намного превзошли остальных. Эту технологию назвали глубоким обучением.
На самом деле Хинтон работал над технологией с 1980-х, но ее эффективность страдала от отсутствия данных и низких вычислительных мощностей. Но все же его вера в метод принесла в конце концов крупные дивиденды. На следующий год почти все команды на конкурсе ImageNet применяли глубокое обучение и достигали высоких результатов. Вскоре технология вышла за пределы распознавания изображений.
В прошлом году за свои достижения Хинтону присудили премию Тьюринга. Журналисты Technology Review побеседовали с пионером глубокого обучения во время прошедшей в октябре конференции EmTech MIT.
«Я верю, что глубокое обучение способно выполнить любую задачу, но я думаю, что для этого потребуется несколько концептуальных прорывов. Например, в 2017 Ашиш Васвани и другие представили трансформеры, которые извлекали очень хорошие векторы значений слов. Это был концептуальный прорыв. Теперь он используется почти во всех лучших системах обработки естественного языка. Нам нужно еще несколько таких прорывов», — сказал Хинтон.
Эти достижения позволят машинам аппроксимировать весь человеческий интеллект методом глубокого обучения, убежден он. У человеческого мозга около 100 трлн синапсов. У GPT-3, одной из самых больших на сегодня моделей, их 175 млн. Это в тысячу раз меньше. GPT-3 уже умеет генерировать правдоподобно выглядящие тексты, но она все равно крошечная по сравнению с мозгом.
Хинтон, как и многие его коллеги, считает, что следующее важное свойство, которым должен овладеть ИИ, это здравый смысл. Кроме того, большое значение имеет двигательный контроль для роботов. А для языковых ИИ, вроде GPT-3, большое значение имеет способность понимать, но как этого добиться — неясно.
Также Хинтон рассказал о своих представлениях о работе человеческого сознания. «Давным-давно в когнитивистике шел спор между двумя школами мысли. Одну возглавлял Стивен Косслин, и он полагал, что когда мы манипулируем визуальными образами в сознании, мы располагаем набором пикселей, и перемещаем их. Другая школа больше соответствовала современному ИИ. Она говорила: „Нет, нет, это чушь. Это иерархические, структурные описания. В вашем мозге есть структура символов, и ею мы манипулируем“, — сказал профессор. — Я думаю, они обе в чем-то ошибались. Косслин полагал, что мы манипулируем пикселями, потому что внешние образы состоят из пикселей, и это понятное нам представление. Те, кто выступал за символы, думали, что мы манипулируем символами, потому что мы тоже представляем вещи символически, и это понятное нам представление. Я думаю, они равно ошибались. Внутри мозга — большие векторы нейронной активности. (…) Символы существуют только во внешнем мире, а внутри мы оперируем большими векторами».
Источник: hightech.plus
Комментариев нет:
Отправить комментарий