Ремастеринг «Звёздного пути» нейросетями до 1080p и 4K

2019-03-22 01:13

нейросети новости, машинное обучение python

     В качестве небольшого любительского проекта я поэкспериментировал с нейросетями AI Gigapixel для апскейла одного из моих любимых научно-фантастических сериалов — Star Trek: Deep Space Nine (DS9), в русском переводе «Звёздный путь: Глубокий космос 9».

Перспективы Deep Space Nine

     Так же, как Final Fantasy 7, где я делаю апскейл фонов, текстур и видео в моде Remako, DS9 лишён планов на выпуск HD-версии. В то время как популярные сезоны Original Series и The Next Generation (TNG) в основном сняты на плёнку, DS9 снимался в середине 90-х годов с наложением визуальных эффектов (космические битвы и т. д.).

     Аналоговую плёнку можно заново отсканировать с более высоким разрешением, но с цифровым видео такое не получится. Ремастеринг сериала становится гораздо более дорогостоящим: это одна из причин, почему его не выпустили в HD.

Ремастеринг DS9 с машинным обучением

     Я подумал, что здесь можно с пользой применить нейросети. С помощью таких инструментов, как AI Gigapixel, кадры низкого разрешения DS9 можно масштабировать до высокой чёткости: 1080p или 4K. Они никогда не сравнятся с хорошим ремастерингом, но это шаг в правильном направлении.

     Поэтому я попробовал на парочке кадров, что получается. Результаты великолепны. AI Gigapixel использует нейронные сети, обученные на реальных фотографиях. Они хорошо подходят для апскейла рендеров видеоигр Final Fantasy, но также удивительно качественно отмасштабировали кадры и спецэффекты DS9.

Вот несколько примеров:

Оригинальное разрешение 480p (нажмите, чтобы увеличить)

Ученые создали нейросеть со способностями экстрасенса

25 Декабря 2017 в 16:30, Владимир Кузнецов   Hi-News.ru 

     Один из законов Кларка гласит: любая достаточно продвинутая технология неотличима от магии. И если несколько веков назад самым точным способом узнать будущее было обратиться к шаману или предсказателю судьбы, что ничем иным, кроме как колдовством, назвать было нельзя, то в современном мире на помощь могут прийти технологии. К примеру, ученые из Мичиганского университета (США) создали нейронную сеть-экстрасенса, которая буквально способна предсказывать грядущие события.

     Новая технология базируется на так называемых мемристорах. Мемристоры — особый тип резистивных устройств, которые способны как выполнять логические операции, так и хранить данные. Иными словами, если сейчас для того, чтобы обучить нейронную сеть, требуются долгие месяцы кропотливой работы для того, чтобы «вложить» знания в нейросеть, то мемристоры (или, как их еще называют, резервуарные вычислительные системы) работают несколько иначе: когда в такую систему попадает набор данных, нейросеть распознает их свойства и передает их вторичной подсети, которая занимается анализом данных и способна строить логические цепочки между ними. Более того, этот подход отлично подходит для того, чтобы обрабатывать данные, которые меняются со временем и зависят от предыдущих результатов: разговорная речь, курсы валют и так далее. Таким образом, на основании опыта, который система приобретает в процессе «жизни», она начинает все лучше понимать, что произойдет в будущем и даже предсказывать события. Как заявил в интервью изданию phys.org один из авторов исследования профессор Вэй Лу,

«Мы можем спрогнозировать человеческую речь, так что вам даже не придется произносить слово целиком. Если вы пообщаетесь с нашей нейронной сетью какое-то время, то она сможет предсказать, что вы скажете через секунду».

нейросеть с "человеческими" глазами

МОСКВА, 4 сен – РИА Новости. 

     Ученые из Института математических проблем биологии РАН создали нейросеть, которая управляет своим "взглядом" и ищет объекты на воспринимаемой картинке почти так же, как это делают органы зрения и мозг человека, говорится в статье, опубликованной в журнале Neural Networks.

     "Разработанная модель предлагает простое и неожиданное объяснение для весьма сложного когнитивного процесса поиска и распознавания объектов на картинке, воспринимаемой нашими глазами", — рассказывает Яков Казанович из Института математических проблем биологии РАН в Пущино. По его словам, созданная его командой нейросеть должна помочь нейрофизиологам разобраться в том, как работает реальное человеческое зрение.