Лекция
Привет, Вы узнаете о том , что такое синтез объектов нейросетями, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое синтез объектов нейросетями , настоятельно рекомендую прочитать все из категории Нейронные сети.
Задача синтеза объектов (англ. object generation problem) — задача, связанная с машинным обучением, заключающаяся в создании новых правдоподобных объектов на основании заданной выборки. Полученные объекты могут быть использованы как для прикладных целей (в таком случае, это чаще всего изображения), так и для генерации объектов для тренировочной выборки, когда размечать настоящие данные — долго и дорого, или их нужно анонимизировать. В зависимости от того, для какой из этих целей используется генерация объектов, постановка задачи и методы ее решения несколько отличаются.
При генерации объектов основная задача обычно состоит в том, чтобы научиться создавать изображения, которые человек не может отличить от изображений, полученных иным путем (рис. 1). Они могут использоваться для более дешевого создания модельных снимков, обложек или пейзажей. Одним из ярких примеров такого применения является создание фотографий вымышленных людей для рекламы в расчете на то, что люди будут больше ассоциировать себя с образом, не представляющим кого-либо конкретного, но сочетающим в себе те черты, которые есть у них самих.
Генерация объектов может улучшать астрономические изображения и использоваться при моделировании дорогостоящих для изучения физических процессов. Так, в 2019 году при помощи генеративных состязательных сетей (GAN) были успешно смоделированы распределения темной материи в определенном направлении в пространстве и составлены предсказания гравитационного линзирования.
В медицине активно используется генерация результатов исследований. Из-за запрета на использование анализов и осмотров без согласия пациента часто довольно тяжело получить большое количество данных, поэтому сейчас для формирования крупных датасетов стали применять GAN. Состязательные сети также могут использоваться для обнаружения глаукомных изображений, помогая ранней диагностике, которая необходима для предотвращения частичной или полной потери зрения.
Аудио является еще одним возможным приложением для GAN, однако используется гораздо реже. Об этом говорит сайт https://intellect.icu . Примером может являться архитектура WaveGan, которая без меток учится воспроизводить понятные слова при обучении на наборе речевых данных с небольшим словарным запасом, а также может синтезировать звук из других областей, таких как барабаны, вокализации птиц и фортепиано.
На сегодняшний день многие модели для генерации музыки используют долгую краткосрочную память (LSTM). Например, еще в 2002 году при помощи LSTM-сети построили модель, генерирующую не только мелодию, но и аккомпанемент к ней в формате выбора аккорда из зафиксированного перечня, и, отчасти, впервые добились благозвучного результата.
В Google сейчас активно используется модель WaveNet, которая основана на сверточных сетях. WaveNet способна генерировать речь, похожую на голос любого человека, и другие звуки, включая музыку (например, композиции на пианино) .
Генерировать можно документы и тексты. Генераторы текстов широко используются при разработке и поисковой оптимизации сайтов: для генерации названий, описаний и содержимого. Существуют крупные англоязычные сайты, на которых весь контент пишут не журналисты, а боты — статьи автоматически рерайтятся из других источников. Русский язык, в отличие от английского, имеет сложную морфологию, поэтому появление подобных ботов-рерайтеров в рунете сильно осложнено.
Еще генерация объектов может использоваться при воссоздании текстур старых игр в лучшем расширении (пример игры, для которой был использован такой метод – Resident Evil). Такой подход также помогает создавать персонажей в стилистике мультфильма, нарисовав руками только пару из них, анимировать уже нарисованных героев, а также полезен для подготовки кадров фильмов или мультипликации . В 2018 году исследователи из Университета Иллинойса и Института искусственного интеллекта Аллена разработали модель под названием CRAFT (Composition, Retrieval and Fusion Network) , которая принимает текстовые описания (или подписи) от пользователя и генерирует сцены из мультсериала «Флинтстоуны» (рис. 2).
При решении какой-либо задачи часто бывает удобно генерировать специфические объекты для ее решения. Например, одна из задач машинного обучения в медицине — генерация новых молекул, которые потенциально могут быть лекарствами. Для решения этой проблемы используют генеративные состязательные сети.
Еще одним примером может являться генерация наборов данных с заданными свойствами для задачи классификации . Это, в частности, может использоваться для генерации данных для систем автоматической проверки программ или в алгоритмах предсказания стоимости изготовления детали по ее чертежу и текстовым характеристикам.
Можно генерировать юнит-тесты, чтобы быстрее находить ошибки при разработке программного обеспечения .
Генерация объектов активно развивается в наши дни и имеет множество применений, в том числе под специфические задачи в различных сферах деятельности.
Для достижения данной цели обычно используются порождающие модели. В таком варианте в качестве задачи ставится восстановление совместного распределения p(x,y) где y — это один бит, отвечающий за отдельный признак (то есть тот класс, к которому должна принадлежать созданный объект; например, фотография человека), а x — это весь объект (фотография). Чаще всего порождаемый объект X представляет собой набор элементов X={xi} , что позволяет порождать объект по частям. Для изображения, например, такими частями будут являться пиксели. Таким образом, при порождении следующих частей объекта мы можем опираться на уже созданные, и тогда перед нами встает задача максимизация функции правдоподобия: для набора данных X={xi} максимизировать 
по параметрам модели θ , т.е. найти 
. Эта задача относится к классу задач обучения без учителя или с частичным привлечением учителя. При ее решении либо работают с явными распределениями, сводя распределение p(x,y) к произведению распределений определенной структуры, либо используют неявные модели, которые не восстанавливают всю функцию плотности, а только моделируют ту часть этой функции, которая нужна непосредственно. Стоит отметить, что простые порождающие модели, такие как наивный байесовский классификатор, не показывают достаточное качество результата, чтобы на их основе можно было сгенерировать полноценные мультимедиа объекты. Из класса порождающих моделей при генерации изображений особенно хорошо показали себя модели состязательных сетей, PixelRNN и PixelCNN, а также DRAW (рисуют изображение с помощью сочетания рекуррентных НС и механизма внимания).
Данная статья про синтез объектов нейросетями подтверждают значимость применения современных методик для изучения данных проблем. Надеюсь, что теперь ты понял что такое синтез объектов нейросетями и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Нейронные сети
Из статьи мы узнали кратко, но содержательно про синтез объектов нейросетями
Комментарии
Оставить комментарий
Нейронные сети
Термины: Нейронные сети