В Google создали алгоритм DeepStereo, способный создавать видео из нескольких фотографий

Инженеры компании Google разработали компьютерный алгоритм, который способен создавать видеоролики на основании нескольких статических фотографий.

Система DeepStereo может проанализировать несколько отличающихся изображений одной сцены. Затем на снимках выделяются различные объекты, а изображения комбинируются в анимационный ролик. При этом алгоритм способен воссоздавать недостающие фрагменты и заполнять пустые места, которые могут образовываться в результате смещения точки обзора. Также автоматически прогнозируется и отображается изменение перспективы сцены. Фактически, система создаёт недостающие изображения, которые могли бы существовать при непрерывной съёмке и перемещении камеры в пространстве. Результат работы DeepStereo можно просмотреть на видео.

Сетевая архитектура, которая стоит за DeepStereo, является достаточно сложной и основана на различных предыдущих проектах. Упрощая объяснение принципа работы алгоритма, авторы DeepStereo говорят о двух «башнях» (или сетевых архитектурах), которые используются в работе. Одна из них прогнозирует глубину пикселей на основании имеющихся двумерных данных. Вторая прогнозирует цвет. Совместно они прогнозируют глубину и цвет объектов в 2D изображениях и, в конечном итоге, синтезируют полноценное видео.