ИИ научился легко решать сложнейшие уравнения, которые описывают устройство Вселенной

020-10-30 18:07

     Дифференциальные уравнения в частных производных встречаются в самых разных аспектах физико-математического моделирования. Они позволяют рассчитывать состояния весьма сложных систем, но их решение всегда было ресурсоемкой задачей. Благодаря специально созданной нейросети этот процесс значительно ускорился и мощности суперкомпьютеров можно будет перенаправить на другие важные задачи.

      Большинство студентов технических специальностей встречают уравнения математической физики (УМФ), или дифференциальные уравнения в частных производных, лишь однажды. Пройдя их во время обучения, об этом сложном, но мощном инструменте почти всегда забывают. И лишь некоторые инженеры используют их регулярно. Речь идет, например, о моделировании воздушных потоков в аэродинамике, описании движения тектонических плит, расчете положения планет или метеорологии.

Стэнфордский курс: лекция 6. Обучение нейросетей, часть 1

2019-09-24 12:05

     В прошлый раз мы обсудили историю возникновения свёрточных архитектур, а также узнали об их устройстве и широких возможностях применения. В течение следующих двух лекций мы поговорим об особенностях обучения нейросетей и разберёмся, как правильно настраивать параметры, выбирать функцию активации, подготавливать данные и добиваться успешных результатов.

Предыдущие лекции:

Лекция 1. Введение

Лекция 2. Классификация изображений

Лекция 3. Функция потерь и оптимизация

Лекция 4. Введение в нейронные сети

Лекция 5. Свёрточные нейронные сети

     Обучение нейросети — непредсказуемый и захватывающий процесс, который, однако, требует тщательной подготовки. В целом его можно разделить на три основных этапа:

Однократная настройка

Сюда входят: выбор функции активации, предварительная обработка данных, инициализация весов, регуляризация, градиентная проверка.

Динамика обучения

Отслеживание процесса обучения, оптимизация и обновление гиперпараметров.

Оценка

Использование ансамблевых методов.

     В этой лекции мы обсудим некоторые детали первых двух пунктов. Если вы уже знакомы со всеми понятиями и имеете опыт работы с нейросетями, рекомендуем нашу статью с полезными советами по обучению моделей.

Функция активации

     Ранее мы выяснили, что в каждый слой нейросети поступают входные данные. Они умножаются на веса полносвязного или свёрточного слоя, а результат передаётся в функцию активации или нелинейность. Мы также говорили о сигмоиде и ReLU, которые часто используются в качестве таких функций. Но список возможных вариантов не ограничивается только ими. Какой же следует выбирать?

     Рассмотрим наиболее популярные функции активации и обсудим их преимущества и недостатки.

Полностью читать здесь.

Курс Deep Learning

2019-08-03 08:42 ai-news
Лекция 1 - Введение
Лекция 2 - Линейный классификатор
Лекция 2.1 - Softmax
Лекция 3 - Нейронные сети
Лекция 4 - Нейронные сети на практике
Лекция 5 - CNN
Лекция 6 - Frameworks
Лекция 7 - Еще компьютерного зрения
Лекция 8 - Введение в NLP
Лекция 9 - RNNs
Смотреть лекции здесь.