Место обучения в кибернетических системах

2020-05-14 14:33

За машинное обучение замолвите слово-->

     Мы переживаем бум методов машинного обучения и может показаться, что нет такой задачи, которую не решила бы стомиллионслойная сеть, будь у нее бесконечное время и безграничный набор данных. Машинное обучение показывает прекрасные результаты при работе с изображениями, речью. Нейросети умеют "вспоминать" ответы на примеры, нарисованные на бумаге и предсказывать, куда полетит теннисный шарик еще до того, как он коснулся ракетки.

     Говорят, что глубокое обучение, генетические алгоритмы и прочие новомодные дисциплины могут решать задачи любой сложности. И по видимому это действительно так. Если конечно у вас есть очень много времени и все данные этого мира.

Визуальная теория информации (часть 1)

2020-01-20 17:18

   Перевод интересного лонгрида посвященного визуализации концепций из теории информации. В первой части мы посмотрим как отобразить графически вероятностные распределения, их взаимодействие и условные вероятности. Далее разберемся с кодами фиксированной и переменной длины, посмотрим как строится оптимальный код и почему он такой. В качестве дополнения визуально разбирается статистический парадокс Симпсона.

     Теория информации дает нам точный язык для описания многих вещей. Сколько во мне неопределенности? Как много знание ответа на вопрос А говорит мне об ответе на вопрос Б? Насколько похож один набор убеждений на другой? У меня были неформальные версии этих идей, когда я был маленьким ребенком, но теория информации кристаллизует их в точные, сильные идеи. Эти идеи имеют огромное разнообразие применений, от сжатия данных до квантовой физики, машинного обучения и обширных областей между ними.

     К сожалению, теория информации может казаться пугающей. Я не думаю, что есть какая-то причина для этого. Фактически, многие ключевые идеи могут быть объяснены визуально!

Визуализация вероятностных распределений

     Прежде чем мы углубимся в теорию информации, давайте подумаем о том, как можно визуализировать простые вероятностные распределения. Они нам понадобятся позже, кроме того эти приемы для визуализации вероятностей полезны сами по себе!

Полностью читать здесь.

Алгоритмическая теория информации

1. 

Новостная лента форума ailab.ru
2018-09-13 19:00
Курс лекций.
Слушать лекции здесь.