Инженеры из Вашингтонского университета совместно с компанией Facebook создали нейросеть Mask R-CNN, которая способна «оживить» движение человека на обычной двухмерной фотографии.
Специально разработанный алгоритм создает 3D-модель человека на снимке и отделяет её от фона. С помощью стилистики исходной фотографии нейросеть раскрашивает полученную модель и создает анимацию.
Так, например, человек на снимке оживает и буквально выходит за рамки фотографии. Алгоритм смог оживить астронавта из первой пилотируемой миссии «Аполлон» — человек на снимке прошелся по лунному грунту.
Пока алгоритм не может в точности воспроизвести движения человека, однако разработчики утверждают, что нейросеть обладает большим потенциалом машинного самообучения, поэтому со временем качество анимации улучшится.
Полное описание работы Mask R-CNN можно посмотреть в онлайн-библиотеке arXiv.org.
Пожалуйста, авторизуйтесь или зарегистрируйтесь чтобы оставить комментарий