Лекция
Привет, Вы узнаете о том , что такое метод монте-карло для синтеза изображений, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое метод монте-карло для синтеза изображений , настоятельно рекомендую прочитать все из категории Компьютерная графика.
Синтез изображений связан с вычислением большого количества интегралов. Аналитически их вычислить невозможно, так как подынтегральные функции не заданы аналитически. Следовательно, требуется применять методы численного интегрирования.
Алгоритм трассировки путей Монте-Карло [Ritschel et al 2011] – физически корректный и высококачественный алгоритм синтеза. Но его существенным недостатком является медленная сходимость. Возможно ускорение синтеза в результате трассировки небольшого числа лучей, а затем удаления оставшегося шума с помощью фильтрации изображения. В работе предлагается алгоритм, превосходящий аналогичные методы по качеству фильтрации и позволяющий существенно сократить время синтеза изображения.
Однако применение квадратурных формул не является эффективным. Скорость сходимости у них зависит от размерности пространства, и быстро падает с увеличением размерности области интегрирования. А размерности интегралов в компьютерной графике довольно высоки (для первичного освещения - 2, для вторичного освещения светом, однократно отразившимся от поверхности сцены - 4 и т.д.). Поэтому требуются другие методы. Такими методами являются методы Монте-Карло и квази-Монте-Карло.
Поясним, как внешне выглядит работа методов Монте-Карло. Из видимой поверхности выпускаются лучи. При их трассировке образуются пути, по которым может распространяться свет. В каждой точке пересечения пути с поверхностью происходит расчет первичного освещения. Потом это значение используется для вычисления вклада во вторичное освещение точки, из которой был выпущен путь. Далее решается, продолжать путь или нет. Для этого может использоваться просто случайная величина, или же можно прекращать путь, когда вклад во вторичное освещение основания пути становится очень малым.
Теперь требуется вычислить интеграл. Для его вычисления он представляется как математическое ожидание некоторой случайной величины.
Можно выбирать направление не как значение равномерно распределенной случайной величины, а как значение случайной величины, плотность распределения которой пропорциональна ДФОС. Можно применять алгоритмы выбора случайных направлений, которые подстраиваются под условия освещения.
При использовании методов квази-Монте-Карло формулы не меняются. Просто случайный выбор направления заменяется на квазислучайный. Используется одна из квазислучайных (детерминистических) последовательностей. Это позволяет увеличить скорость сходимости.
Методам Монте-Карло и квази-Монте-Карло присущ тот недостаток, что они являются слишком медленными. Например, для того, чтобы получить рендер более-менее нормальное значение первичного освещения для точечных источников, требуется приблизительно N=400. Для расчета вторичного освещения требуется N=1600. При таких параметрах речи об интерактивности быть не может.
Если в методе Монте-Карло использовать небольшую выборку (например, на расчет вторичного освещения потратить только 30 лучей), то возникнет шум, вызванный случайной природой метода.
Кэш освещенности [Pharr and Humphreys 2004] является одним из способов ускорения вычисления интеграла освещенности на множестве точек. Метод предназначен для
работы с диффузной составляющей освещения. Компонента вторичного диффузного освещения на изображении меняется плавно, поэтому ее можно вычислить каким-либо из методов лишь в очень небольшом числе точек, а в остальных – интерполировать. В работе [Kontkanen et al 2006] рассматривается метод ускорения синтеза методом трассировки путей Монте-Карло или фотонных карт с помощью объединения алгоритма кэша освещенности [Pharr and Humphreys 2004] и фильтрации. Метод позволяет значительно сократить количество выборок, необходимых для формирования кэша, путем фильтрации на этапе выборки значений из кэша. Об этом говорит сайт https://intellect.icu . Для фотонных карт фильтрация применяется на этапе финального сбора. Веса фильтра подбираются индивидуально для каждой точки кэша, в зависимости от сложности геометрии в этой точки. Алгоритм позволяет синтезировать изображение в 5 раз быстрее, чем с помощбю кэша освещенности. Метод позволяет избежать артефактов, характерных для кэша освещенности, но обладает артефактами, вызванными размытием, и усложняет операцию выборки из кэша освещенности.
Алгоритм [Suykens and Willems 2000] ускоряет синтез изображений прогрессивным методом трассировки лучей Монте-Карло за счет фильтрации результата каждой итерации. Авторы предлагают использовать фильтр с ядром Епанечникова [Silverman 1986], размер которого варьируется в зависимости от плотности распределения выборок Монте-Карло по эмпирическому закону. Учитывая лишь распределение выборок, а не особенности сцены, алгоритм плохо сохраняет границы на изображениях.
Авторами статьи [Gastal and Oliveira 2012] предложен многомерный фильтр для изображений, применимый к обработке произвольных сигналов. Рассмотренный фильтр позволяет учесть большое количество измерений, помимо цвета, содержащих дополнительную информацию. Показывая высококачественный результат, сравнимый с билатеральной фильтрацией [Kornprobst and Tumblin 2009], метод обладает линейной сложностью и высокой скоростью работы.
В [Dammertz et al 2010] предлагается алгоритм для фильтрации освещенния в пространстве экрана в реальном времени. Статья предлагает усовершенствование билатерального фильтра с wavelet-преобразованием A-Trous [Holschneider et al 1989], добавляя к преобразованию дополнительную весовую функцию для определения границ на изображении. Для вычисления функции используется дополнительная информация о пикселях: направление нормали и координаты в мировом пространстве. Дополнительный вес в wavelet-преобразовании определяется на основе близости пикселей по нормали и координате. Метод хорошо сохраняет границы на изображении, но фильтрация страдает наличием артефактов в виде цветных пятен на однородных поверхностях. Реализация на графическом процессоре позволяет обрабатывать изображения 0.25 мегапикселя со скоростью примерно 4 кадра в секунду.
В статье [Hachisuka et al 2008] рассматривается метод адаптивного распределения Монте-Карло выборок по изображению. Каждый луч рассматривается как точка многомерного пространства (например, учитываются координаты на линзе, время), тем самым задается многомерная функция в пространстве изображения. Многомерная функция анизотропно интерполируется, и для следующих выборок определяются позиции ближе к резким изменениям многомерной функции, которые соответствуют тем областям на изображении, где необходимо больше выборок: границы, мягкие тени, области вне фокуса камеры. Минимизация MSE. Работа [Rousselle et al 2011] описывает итеративный метод расчета Монте-Карло выборок и синтеза изображений. На каждой итерации метод выбирает наиболее оптимальное распределение некоторого фиксированного числа Монте-Карло выборок в пространстве изображения, которое минимизирует ошибку по метрике MSE [Lehmann and Casella 1998]. Так как невозможно вычислить MSE без эталонного изображения, то используется аппроксимация [Silverman 1986]. Затем реконструируется изображение по вычисленным выборкам: производится размытие рассчитанного изображения предопределенным набором фильтров (размытие по Гауссу с разным размером ядра), а затем для каждого пикселя выбирается значение, которое минимизирует ошибку по MSE. Оценка ошибки текущей итерации учитывается в следующей итерации для выбора распределения. Использование нелокальной фильтрации. Итеративный метод расчета и фильтрации выборок МонтеКарло [Rousselle et al 2012] существенно ускоряет процесс трассировки лучей Монте-Карло и превосходит по качеству метод [Rousselle et al 2011]. Каждая итерация делится на три шага. На первом шаге производится расчет фиксированного числа лучей, и результат записывается в буфер. Затем, на втором шаге, выполняется нелокальная фильрация буфера методом nonlocal means denoising [Buades et al 2005]. Третий шаг вычисляет попиксельную невязку и значения невязки, затем используются на первом шаге следующей итерации для распределения лучей в пространстве изображения. Для первой итерации используется равномерное распределение. Быстродействие метода ограничивается вычислительно сложным алгоритмом нелокальной фильтрации, синтез 1 мегапикселя занимает 8 – 16 секунд с ускорением на графическом процессоре.
предлагает guided-фильтр, обрабатывающий изображение, руководствуясь дополнительной информацией о каждом пикселе. При удачном выборе дополнительной информации guided-фильтр превосходит по качеству билатеральную фильтрациию. В [Bauszat et al 2011] рассматривается применение guided-фильтрации в трассировке лучей Монте-Карло. В рассмотренном методе освещение разделяется на первичное и вторичное. Вторичное освещение обрабатывается с помощью guided-фильтра, где в качестве дополнительной информации используются карта нормалей, карта глубины и дополнительный буфер цвета, полученный расчетом лучей, проходящих через центр пикселя. Предложенный подход демонстрирует лучшие результаты и по качеству, и по времени по сравнению с кросс-билатеральной фильтрацией [Kornprobst and Tumblin 2009] и A-Trous фильтрацией [Dammertz et al 2010].
Рассматривая процесс трассировки лучей Монте-Карло как Пуассоновский процесс, авторы [Doidge and Jones 2013] предлагают эффективный способ фильтрации выборок. Для каждого пикселя изображения все выборки кластеризуются по глубине луча, и, исходя из предположения о Пуассоновском процессе, возможно предположение о том, что распределение выборок в кластере одного пикселя может сравниваться с распределением в кластерах соседних пикселей, что позволяет фильтру переиспользовать освещение с соседних пикселей. Также фильтр использует информацию о нормалях и глубине для обнаружения границ. Рассмотренный алгоритм позволяет получать изображение при малом количестве выборок на пиксель, по качеству превосходящее кросс-билатеральную фильтрацию [Kornprobst and Tumblin 2009]. В статье [Sen and Darabi 2012] авторы представили метод многомерной фильтрации, учитывающий стохастическую зависимость между случайными величинами в методе трассировки лучей Монте-Карло и значениями в полученном семпле. Для каждого пикселя рассматривается вектор, включающий в себя набор случайных величин и дополнительную информацию о сцене (например, распределение точек на линзе). Если шум на изображении вызван случайным распределением точек прохождения луча через линзу, то между распределением точек на линзе и между шумом изображения существует некоторая функциональная зависимость. Наличие такой информации позволяет снизить вклад в ядро фильтра тех пикселей, на цвет которых повлиял шум. В алгоритме предлагается использование билатеральной фильтрации [Kornprobst and Tumblin 2009], параметры которой вычисляются на основе взаимной информации между распределением дополнительной информации в точке и случайных величин.
[Pharr and Humphreys 2004], [Kontkanen et al 2006] решает задачу ускорения синтеза изображений, но обладает артефактами и требует существенного изменения алгоритма синтеза. Работы [Hachisuka et al 2008], [Rousselle et al 2011] и [Rousselle et al 2012] описывают использование более эффективного распределения выборок в пространстве экрана, чем равномерное, однако эти подходы требуют модификации трассировщика лучей. Методы фильтрация позволяют обойтись меньшими изменениями алгоритма синтеза. Методы [Suykens and Willems 2000], [Kornprobst and Tumblin 2009], [Dammertz et al 2010] обрабатывают изображения, не имея информации о геометрии, и, следовательно, плохо сохраняют границы изображений. Аналогично подходам [Gastal and Oliveira 2012], [Dammertz et al 2010], [He et al 2010], [Doidge and Jones 2013], [Sen and Darabi 2012] предлагается использовать дополнительную информацию о сцене для улучшения качества фильтрации на границах. Метод [Gastal and Oliveira 2012] позволяет объединить идею guided-фильтраци [He et al 2010] для сохранения границ и нелокальной фильтрации [Buades et al 2005], улучшающей обработку однородных областей.
Исследование, описанное в статье про метод монте-карло для синтеза изображений, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое метод монте-карло для синтеза изображений и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Компьютерная графика
Комментарии
Оставить комментарий
Компьютерная графика
Термины: Компьютерная графика