Нейросеть обучили преобразовывать эскизы, созданные в Paint, в полноценно художественные произведения кратко

Современные достижения в области искусственного интеллекта все чаще выходят за рамки технических экспериментов, проникая в сферу творчества и искусства. Одним из ярких примеров является разработка нейросетей, способных преобразовывать простые эскизы, созданные даже в таких базовых графических редакторах, как Paint, в реалистичные и эстетически выразительные художественные произведения. Подобные системы опираются на методы глубокого обучения и генеративные модели, которые анализируют форму, композицию и цветовую структуру рисунка, достраивая его до полноценной картины. Это открывает новые перспективы для взаимодействия человека и машины, делая искусство доступным каждому, независимо от уровня художественных навыков.

Программа Neural Doodle, сделанная на основе нейросети, превращает в настоящие картины обычные рисунки или фотографии. Создатель программы Алекс Шампандар (Alex Champandard) разместил исходный код на GitHub https://github.com/alexjc/neural-doodle , а конструкцию нейросети описал в научной работе http://arxiv.org/abs/1603.01768 , подготовленной для конференции nucl.ai Conference 2016.

Программа представляет собой скрипт Python, который генерирует изображения, принимая три картинки в качестве входных параметров. На «вход» подаются рисунок или фотография, образец, демонстрирующий стиль, которому пользователь хочет подражать в своем изображении, а также его «семантическая карта» — схематический рисунок, сделать который можно в любом графическом редакторе наподобие Microsoft Paint.

Нейросеть считывает особенности стиля образца, переносит их на набросок, и на выходе у Neural Doodle получается новая полноценная картина.

Шампандар поэкспериментировал на картинах классических художников. Например, он взял пейзаж Ренуара, создал его упрощенный набросок, затем добавил к нему собственный рисунок в Paint.

На выходе у него получилась новая версия его собственного пейзажа, который будто бы сам Ренуар и нарисовал.

Точно такой же эксперимент создатель провел с фотографией Фредди Меркьюри, решив уподобить ее стилю художницы Мии Бержерон. Шампадар взял одну из ее картин, сделал эскиз полотна и добавил фотографию знаменитого певца.

Для работы скрипта понадобится предварительно обученная нейросеть. Скачать ее, а также ознакомиться с инструкциями по установке локального окружения можно на GeekTimes.

В обсуждении программы на Reddit Шампадар рассказал, что на современном компьютере (он использует MacBook Pro 2014 года) рендеринг одного изображения невысокого разрешения занимает около часа времени. Его Твиттер-бот @DeepForger, стилизующий фотографии под картины художников, умеет масштабировать конечные изображения до разрешения 1080p, однако Neural Doodle пока на такое не способен.