2016-03-28 21:58
Глубокие нейронные сети (Deep neural networks (DNNs)) можно научить почти чему угодно, в том числе, как побеждать нас в нами же придуманных играх. Проблема заключается в том, что обучение ИИ занимает время суперкомпьютеров или центров обработки данных, исчисляемое днями. Ученые компании IBM из Исследовательского центра Уотсона думают, что они могут сократить силы и время на обучения с помощью "резистивных устройств обработки данных" - пока еще, теоретические чипы, которые сочетают в себе центральный процессор и энергонезависимую память. Они могут улучшить скорость передачи данных в геометрической прогрессии, что приведет к появлению систем, которые смогут решать такие задачи, как "распознавания естественной речи и перевода между всеми мировыми языками"
Так почему надо так много вычислительной мощности и времени, чтобы научить ИИ чему-то? Проблема заключается в том, что современные нейронные сети, такие как DeepMind Google или IBM Watson должна выполнять миллиарды задач в параллельно. Это требует достаточно большого количества вызовов процессора к памяти, которые быстро достигают количества миллиарда циклов. Исследователи обсуждали возможность использования новых технологий хранения данных, таких как резистивной оперативной памяти, которая может постоянно хранить данные на DRAM-сравнимых скоростях. Тем не менее, в конце концов они пришли к идее нового типа чипа под названием- резистивный процессорный блок обработки данных (РПБОД - resistive processing unit (RPU) ), который содержит большое количество резистивной памяти непосредственно на CPU.
Такие чипы могли бы брать данные так быстро, как они могут обработать их, чем резко снижается время, нужное для нейронной сети для обучения, а также питание. "Массивная параллельная архитектура RPU может достигнуть ускорения в 30000 раз по сравнению с самыми современными микропроцессорами. Задачи, которые в настоящее время требуют дней обучения в центрах обработки данных на кластере размером в тысячи машин, могут быть решены в течение нескольких часов на одном РПБОД ускорителе" - говорится в статье.
| Система | Пропускная способность (TeraOps/s) | Мощность (W) | Энергоэффективность (G-Ops/s/W) | Размер сети | Соотношение "Ускоритель против CPU" |
|---|---|---|---|---|---|
| CPU Power8 12 Cores | 0.676 | 250 | 2.7 | - | 1 |
| GPU NVidia Tesla K40 | 4.3 | 242 | 17.8 | - | 6.4 |
| Design 1 | 5,000 | 250 | 20,100 | 200 M | 7,400 |
| Design 2 | 21,000 | 250 | 83,800 | 840 M | 31,000 |
| Design 3 | 420 | 22 | 19,000 | 1,680 M | 620 |
Ученые считают, что можно построить такие чипы с использованием существующих КМОП-технологий, но пока РПБОД все еще находятся на стадии исследования. Кроме того, технологию, на которой он базируется - резистивная RAM, еще предстоит вывести на рынок. Однако создание чипов с быстрой локальной памятью является логическим шагом, который может значительно ускорить такие задачи ИИ, как обработка изображений, распознавание речи и анализа большого массива данных.
futuraptor.com
Комментариев нет:
Отправить комментарий