Лекция
Это продолжение увлекательной статьи про теории восприятия цвета человеком.
...
высокий уровень так называемого «структурного шума» (англ. pattern noise).
Однако самый качественный вариант цветоразделения - 3 матрицы с дихроической призмой - 3CCD.
3CCD — технология цветоделения в цветном телевидении, использующая три светочувствительные матрицы или передающие трубки, отдельные для каждого из трех цветоделенных изображений: красного, зеленого и синего. Технология основана на оптическом цветоделении при помощи дихроидной (или дихроичной) призмы, разделяющей свет от объектива на три изображения по длине волны за счет интерференции . В телевизионном обиходе такие телекамеры и видеокамеры называют трехматричными.
Активно применялся и применяется в видеокамерах. Для фотокамер этот способ малоприменим - дело в том, что практически невозможно чисто механически совместить три изображения на трех отдельных сенсорах настолько точно, чтобы получить разрешение хотя бы в несколько мегапикселей. Кроме того, конструкция получается довольно громоздкой. Поэтому решение используется только в видеокамерах.
Второй вариант - многослойные сенсоры, которые по структуре в чем-то имитируют цветную фотопленку. Самый известный пример - сигмовский X3 Foveon. Принцип действия такого сенсора основан на том, что свет с разными длинами волн проникает в кремний на разную глубину.
Поскольку нет мозаики байеровского фильтра, то не нужна интерполяция, и разрешение картинки получается по-настоящему честным.
Но у фовеона свои проблемы, в частности искажение цвета из-за метода цветоразделения, особенно в красном канале, который на сенсоре лежит в самом низу, и до него доходят лучи, искаженные предыдущими двумя слоями. Все эти искажения приходится исправлять с помощью матричных профилей, из-за чего сильно растут шумы, деградирует картинка.
Камеры Sigma достаточно дороги и в целом коммерческим успехом не пользуются. Хотя у Фовеона множество приверженцев-энтузиастов.
Третий и самый популярный вариант - классический байеровский фильтр и его вариации.
Принцип действия фильтра прост - поверх ячеек лежит мозаика из цветных фильтров, пропускающих лучи разного цвета. Получается три ЧБ канала, каждый из которых отражает яркость лучей, прошедших через свой цветной фильтр. При обработке вся эта информация из трех черно-белых каналов интерполируется в конечное цветное изображение.
Архитектура пикселей у производителей разная. Для примера здесь приводится архитектура ПЗС-пикселя.
Обозначения на схеме субпикселя ПЗС-матрицы — матрицы с карманом n-типа:
1 — фотоны света, прошедшие через объектив фотоаппарата;
2 — микролинза субпикселя;
3 — R — красный светофильтр субпикселя, фрагмент фильтра Байера;
4 — прозрачный электрод из поликристаллического кремния или сплава индия и оксида олова;
5 — оксид кремния;
6 — кремниевый канал n-типа: зона генерации носителей — зона внутреннего фотоэффекта;
7 — зона потенциальной ямы (карман n-типа), где собираются электроны из зоны генерации носителей заряда;
8 — кремниевая подложка p-типа.
Буферные регистры сдвига на ПЗС-матрице, равно как и обрамление КМОП-пиксела, на КМОП-матрице «съедают» значительную часть площади матрицы, в результате, каждому пикселю достается лишь 30 % светочувствительной области от его общей поверхности. У матрицы с полнокадровым переносом эта область составляет 70 %. Именно поэтому в большинстве современных ПЗС-матриц над пикселем устанавливается микролинза. Такое простейшее оптическое устройство покрывает бо́льшую часть площади ПЗС-элемента и собирает всю падающую на эту часть долю фотонов в концентрированный световой поток, который, в свою очередь, направлен на довольно компактную светочувствительную область пиксела.
ПЗС-ма́трица (сокр. от «прибор с зарядовой связью»), или CCD-ма́трица (сокр. от англ. CCD, «charge-coupled device») — специализированная аналоговая интегральная микросхема, состоящая из светочувствительных фотодиодов, выполненная на основе кремния, использующая технологию ПЗС — приборов с зарядовой связью.
ПЗС-матрицы выпускались и активно использовались компаниями Nikon, Canon, Sony, Fujitsu, Kodak, Panasonic, Philips и многими другими. В России ПЗС-матрицы сегодня разрабатывают и выпускают: ОАО «ЦНИИ „Электрон“» (г. Санкт-Петербург) и его дочернее предприятие АО «НПП „Элар“» (г. Санкт-Петербург,) а также ОАО «НПП „Пульсар“» (г. Москва).
Сформированное объективом изображение попадает на ПЗС-матрицу, то есть лучи света падают на светочувствительную поверхность ПЗС-элементов, задача которых — преобразовать энергию фотонов в электрический заряд. Происходит это примерно следующим образом.
Для фотона, упавшего на ПЗС-элемент, есть три варианта развития событий — он либо «срикошетит» от поверхности, либо будет поглощен в толще полупроводника (материала матрицы), либо «пробьет насквозь» ее «рабочую зону». Очевидно, что от разработчиков требуется создать такой сенсор, в котором потери от «рикошета» и «прострела навылет» были бы минимизированы. Те же фотоны, которые были поглощены матрицей, образуют пару электрон-дырка, если произошло взаимодействие с атомом кристаллической решетки полупроводника, или же только электрон (либо дырку), если взаимодействие было с атомами донорных либо акцепторных примесей, а оба перечисленных явления называются внутренним фотоэффектом. Разумеется, внутренним фотоэффектом работа сенсора не ограничивается — необходимо сохранить «отнятые» у полупроводника носители заряда в специальном хранилище, а затем их считать.
В общем виде конструкция ПЗС-элемента выглядит так: кремниевая подложка p-типа оснащается каналами из полупроводника n-типа. Над каналами создаются электроды из поликристаллического кремния с изолирующей прослойкой из оксида кремния. После подачи на такой электрод электрического потенциала, в обедненной зоне под каналом n-типа создается потенциальная яма, назначение которой — хранить электроны. Фотон, проникающий в кремний, приводит к генерации электрона, который притягивается потенциальной ямой и остается в ней. Большее количество фотонов (яркий свет) обеспечивает больший заряд ямы. Затем надо считать значение этого заряда, именуемого также фототоком, и усилить его.
Считывание фототоков ПЗС-элементов осуществляется так называемыми последовательными регистрами сдвига, которые преобразовывают строку зарядов на входе в серию импульсов на выходе. Данная серия представляет собой аналоговый сигнал, который в дальнейшем поступает на усилитель.
Таким образом, при помощи регистра можно преобразовать в аналоговый сигнал заряды строки из ПЗС-элементов. Фактически, последовательный регистр сдвига в ПЗС-матрицах реализуется с помощью тех же самых ПЗС-элементов, объединенных в строку. Работа такого устройства базируется на способности приборов с зарядовой связью (именно это обозначает аббревиатура ПЗС) обмениваться зарядами своих потенциальных ям. Обмен осуществляется благодаря наличию специальных электродов переноса (transfer gate), расположенных между соседними ПЗС-элементами. При подаче на ближайший электрод повышенного потенциала заряд «перетекает» под него из потенциальной ямы. Между ПЗС-элементами могут располагаться от двух до четырех электродов переноса, от их количества зависит «фазность» регистра сдвига, который может называться двухфазным, трехфазным либо четырехфазным.
Подача потенциалов на электроды переноса синхронизирована таким образом, что перемещение зарядов потенциальных ям всех ПЗС-элементов регистра происходит одновременно. И за один цикл переноса ПЗС-элементы как бы «передают по цепочке» заряды слева направо (или же справа налево). Ну а оказавшийся «крайним» ПЗС-элемент отдает свой заряд устройству, расположенному на выходе регистра — то есть усилителю.
В целом, последовательный регистр сдвига является устройством с параллельным входом и последовательным выходом. Поэтому после считывания всех зарядов из регистра есть возможность подать на его вход новую строку, затем следующую и таким образом сформировать непрерывный аналоговый сигнал на основе двумерного массива фототоков. В свою очередь, входной параллельный поток для последовательного регистра сдвига (то есть строки двумерного массива фототоков) обеспечивается совокупностью вертикально ориентированных последовательных регистров сдвига, которая именуется параллельным регистром сдвига, а вся конструкция в целом как раз и является устройством, именуемым ПЗС-матрицей.
«Вертикальные» последовательные регистры сдвига, составляющие параллельный, называются столбцами ПЗС-матрицы, а их работа полностью синхронизирована. Двумерный массив фототоков ПЗС-матрицы одновременно смещается вниз на одну строку, причем происходит это только после того, как заряды предыдущей строки из расположенного «в самом низу» последовательного регистра сдвига ушли на усилитель. До освобождения последовательного регистра параллельный вынужден простаивать. Ну а сама ПЗС-матрица для нормальной работы обязательно должна быть подключена к микросхеме (или их набору), подающей потенциалы на электроды как последовательного, так и параллельного регистров сдвига, а также синхронизирующей работу обоих регистров. Кроме того, нужен тактовый генератор.
Данный тип сенсора является наиболее простым с конструктивной точки зрения и именуется полнокадровой ПЗС-матрицей (full-frame CCD-matrix). Помимо микросхем «обвязки», такой тип матриц нуждается также в механическом затворе, перекрывающем световой поток после окончания экспонирования. До полного закрытия затвора считывание зарядов начинать нельзя — при рабочем цикле параллельного регистра сдвига к фототоку каждого из его пикселов добавляются лишние электроны, вызванные попаданием фотонов на открытую поверхность ПЗС-матрицы. Данное явление называется «размазыванием» заряда в полнокадровой матрице (full-frame matrix smear).
Таким образом, скорость считывания кадра в такой схеме ограничена скоростью работы как параллельного, так и последовательного регистров сдвига. Также очевидно, что необходимо перекрывать световой поток, идущий с объектива, до завершения процесса считывания, поэтому интервал между экспонированием тоже зависит от скорости считывания.
Существует усовершенствованный вариант полнокадровой матрицы, в котором заряды параллельного регистра не поступают построчно на вход последовательного, а «складируются» в буферном параллельном регистре. Данный регистр расположен под основным параллельным регистром сдвига, фототоки построчно перемещаются в буферный регистр и уже из него поступают на вход последовательного регистра сдвига. Поверхность буферного регистра покрыта непрозрачной (чаще металлической) панелью, а вся система получила название матрицы с буферизацией кадра (frame—transfer CCD).
В данной схеме потенциальные ямы основного параллельного регистра сдвига «опорожняются» заметно быстрее, так как при переносе строк в буфер нет необходимости для каждой строки ожидать полный цикл последовательного регистра. Поэтому интервал между экспонированием сокращается, правда при этом также падает скорость считывания — строке приходится «путешествовать» на вдвое большее расстояние. Таким образом, интервал между экспонированием сокращается только для двух кадров, хотя стоимость устройства за счет буферного регистра заметно возрастает. Однако наиболее заметным недостатком матриц с буферизацией кадра является удлинившийся «маршрут» фототоков, который негативно сказывается на сохранности их величин. И в любом случае между кадрами должен срабатывать механический затвор, так что о непрерывном видеосигнале говорить не приходится.
Специально для видеотехники был разработан новый тип матриц, в котором интервал между экспонированием был минимизирован не для пары кадров, а для непрерывного потока. Разумеется, для обеспечения этой непрерывности пришлось предусмотреть отказ от механического затвора.
Фактически данная схема, получившая наименование матрицы с буферизацией столбцов (interline CCD matrix), в чем-то сходна с системами с буферизацией кадра — в ней также используется буферный параллельный регистр сдвига, ПЗС-элементы которого скрыты под непрозрачным покрытием. Однако буфер этот не располагается единым блоком под основным параллельным регистром — его столбцы «перетасованы» между столбцами основного регистра. В результате рядом с каждым столбцом основного регистра находится столбец буфера, а сразу же после экспонирования фототоки перемещаются не «сверху вниз», а «слева направо» (или «справа налево») и всего за один рабочий цикл попадают в буферный регистр, целиком и полностью освобождая потенциальные ямы для следующего экспонирования.
Попавшие в буферный регистр заряды в обычном порядке считываются через последовательный регистр сдвига, то есть «сверху вниз». Поскольку сброс фототоков в буферный регистр происходит всего за один цикл, даже при отсутствии механического затвора не наблюдается ничего похожего на «размазывание» заряда в полнокадровой матрице. А вот время экспонирования для каждого кадра в большинстве случаев по продолжительности соответствует интервалу, затрачиваемому на полное считывание буферного параллельного регистра. Благодаря всему этому появляется возможность создать видеосигнал с высокой частотой кадров — не менее 30 кадров секунду.
Зачастую в отечественной литературе матрицы с буферизацией столбцов ошибочно именуют «чересстрочными». Вызвано это, наверное, тем, что английские наименования «interline» (буферизация строк) и «interlaced» (чересстрочная развертка) звучат очень похоже. На деле же при считывании за один такт всех строк можно говорить о матрице с прогрессивной разверткой (progressive scan), а когда за первый такт считываются нечетные строки, а за второй — четные (или наоборот), речь идет о матрице с чересстрочной разверткой (interlace scan).
В этих матрицах заряды могут перемещаться в соседние ячейки по команде системы управления. Применяются в космических телескопах для компенсации турбулентности атмосферы, вибрации механизма телескопа и других механических и оптических помех.[
Светочувствительность (более коротко — чувствительность), отношение сигнал-шум и физический размер пикселя однозначно взаимосвязаны (для матриц, созданных по одной и той же технологии). Чем больше физический размер пикселя, тем больше получаемое соотношение сигнал-шум при заданной чувствительности, или тем выше чувствительность при заданном соотношении сигнал-шум. Физический размер матрицы и ее разрешение однозначно определяют размер пикселя. Размер пикселя напрямую определяет такую важную характеристику, как фотографическая широта.
Всякая физическая величина совершает некоторые колебания от своего среднего состояния, в науке это называется флуктуациями. Поэтому и каждое свойство всякого тела тоже изменяется, колеблясь в некоторых пределах. Это справедливо и для такого свойства, как светочувствительность фотоприемника, независимо от того, что собой представляет этот фотоприемник. Следствием этого является то, что некоторая величина не может иметь какого-то конкретного значения, а изменяется в зависимости от обстоятельств. Если, например, рассмотреть такой параметр фотоприемника, как «уровень черного», то есть то значение сигнала, которое будет показывать фотодатчик при отсутствии света, то и этот параметр будет некоторым образом флуктуировать, в том числе эта величина будет меняться от одного фотодатчика к другому, если они образуют некоторый массив (матрицу).
В качестве примера можно рассмотреть обычную фотопленку, где фотодатчики — зерна бромистого серебра, и их размер и «качество» неконтролируемо меняются от точки к точке (изготовитель фотоматериала может обеспечить только среднее значение параметра и величину его отклонения от среднего значения, но не сами конкретные значения этой величины в конкретных позициях). В силу этого обстоятельства пленка, проявленная без экспозиции, покажет некоторое, очень маленькое, но отличное от нуля почернение, которое называется «вуаль». И у фотоматрицы цифрового фотоаппарата наблюдается то же самое явление. В науке такое явление называется шумом, так как оно мешает правильному восприятию и отображению информации, и для того, чтобы изображение хорошо передавало структуру исходного сигнала, необходимо, чтобы уровень сигнала в некоторой степени превосходил уровень шумов, характерных для данного устройства. Это называется отношением сигнал/шум.
К матрицам применяется термин, эквивалентный «чувствительности», потому что:
У цифровых фотоаппаратов значение эквивалентной чувствительности может меняться в диапазоне 50—102400 ISO. Максимальная используемая в массовых фотоаппаратах чувствительность соответствует отношению сигнал/шум 2-5.
Фотоматрица оцифровывает (разделяет на кусочки — «пиксели») то изображение, которое формируется объективом фотоаппарата. Но, если объектив в силу недостаточно высокой разрешающей способности передает ДВЕ светящиеся точки объекта, разделенные третьей черной, как одну светящуюся точку на ТРИ подряд расположенных пиксела, то говорить о точном разрешении изображения фотоаппаратом не приходится.
В фотографической оптике существует приблизительное соотношение : если разрешающую способность фотоприемника выразить в линиях на миллиметр (или же в пикселях на дюйм), обозначим ее как 
, и так же выразить разрешающую способность объектива (в его фокальной плоскости), обозначим ее как 
, то результирующее разрешение системы объектив+фотоприемник, обозначим его как 
, можно найти по формуле:
или 
.
Это соотношение максимально при 
, когда разрешение равно 
, поэтому желательно, чтобы разрешающая способность объектива соответствовала разрешающей способности фотоприемника.
У современных цифровых фотоматриц разрешающая способность определяется размером пикселя, который варьируется у разных фотоматриц в пределах от 0,0025 мм до 0,0080 мм, а у большинства современных фотоматриц он равен 0,006 мм. Поскольку две точки будут различаться, если между ними находится третья (незасвеченная) точка, то разрешающая способность соответствует расстоянию в два пикселя, то есть:
, где 
— размер пикселя.
У цифровых фотоматриц разрешающая способность составляет от 200 линий на миллиметр (у крупноформатных цифровых фотокамер) до 70 линий на миллиметр(у web-камер и мобильных телефонов).
Некоторые разработчики видеокамер, ПЗС и КМОП-матриц, считают разрешение системы (в линиях) равным количеству считываемых с матрицы пикселей, разделенному на 1,5. Поскольку при оценке разрешающей способности объектива принято измерение в парах черной и белой линий миры Фуко на мм (определяющих не одиночный пик, а пространственную частоту), то коэффициент пересчета разрешения матрицы в пары линий требует поправочного коэффициента 3,0 .
Физические размеры фотосенсоров определяются размером отдельных пикселей матрицы, которые в современных фотосенсорах имеют величину 0,005-0,006 мм. Чем крупнее пиксель, тем больше его площадь и количество собираемого им света, поэтому тем выше его светочувствительность и лучше отношение сигнал/шум (в пленочной фотографии шумы называются «зернистостью» или «гранулярностью»). Необходимое разрешение деталей фотографии определяет общее количество пикселей, которое в современных фотоматрицах достигает десятков миллионов пикселей (Мегапикселей), и тем задает физические размеры фотоматрицы.
| № | Диагональ в видиконовых дюймах | Диагональ в мм | Размер в мм | Кроп-фактор |
|---|---|---|---|---|
| 1 | 13/8" (пленка типа 135) | 43,27 | 36 × 24 | 1 |
| 2 | APS-H Canon | 33,75 | 28,1 × 18,7 | 1,28 |
| 3 | APS-H Leica | 32,45 | 27 × 18 | 1,33 |
| 4 | APS-C | 28,5 | 23,7 × 15,6 | 1,52 |
| 5 | APS-C | 28,4 | 23,5 × 15,7 | 1,52 |
| 6 | APS-C | 28,4 | 23,6 × 15,8 | 1,52 |
| 7 | APS-C Canon | 26,82 | 22,3 × 14,9 | 1,61 |
| 8 | Foveon X3 | 24,88 | 20,7 × 13,8 | 1,74 |
| 9 | 1,5" | 23,4 | 18,7 × 14,0 | 1,85 |
| 10 | 4/3" | 21,64 | 17,3 × 13,0 | 2 |
| 11 | 1" | 16 | 12,8 × 9,6 | 2,7 |
| 12 | 1" | 15,9 | 13,2 × 8,8 | 2,73 |
| 13 | 2/3" | 11,85 | 8,8 × 6,6 | 3,93 |
| 14 | 1/1,63" | 10 | 8,0 × 6,0 | 4,33 |
| 15 | 1/1,7" | 9,5 | 7,6 × 5,7 | 4,55 |
| 16 | 1/1,8" | 8,94 | 7,2 × 5,3 | 4,84 |
| 17 | 1/2" | 8,0 | 6,4 × 4,8 | 5,41 |
| 18 | 1/2,3" | 7,7 | 6,16 × 4,62 | 5,62 |
| 19 | 1/2,33" | 7,63 | 6,08 × 4,56 | 5,92 |
| 20 | 1/2,5" | 6,77 | 5,8 × 4,3 | 6,2 |
| 21 | 1/2,7" | 6,58 | 5,4 × 4,0 | 6,7 |
| 22 | 1/2,8" | 6,35 | 5,1 × 3,8 | 7,05 |
| 23 | 1/3" | 5,64 | 4,8 × 3,6 | 7,5 |
| 24 | 1/3,2" | 5,56 | 4,54 × 3,42 | 7,92 |
| 25 | 1/3,6" | 4,93 | 4 × 3 | 9 |
| 26 | 1/4" | 4,45 | 3,6 × 2,7 | 10 |
| 27 | 1/6" | 2,96 | 2,4 × 1,8 | 15 |
| 28 | 1/8" | 2,25 | 1,8 × 1,35 | 20 |
Диагонали матрицы 1’’, 1/2’’ и т. д. принято измерять в видиконовых дюймах. Размер видиконового дюйма равен 16 мм (унаследовано от видикона диаметром 1", рабочая диагональ там была именно 16 мм). Как видно из таблицы по кроп-фактору матрицы 1’’ с диагональю 16 мм, размер полной матрицы 24×36 мм имеет диагональ 43,27 мм или 2,7 видиконовых дюйма, 2.7’’. Физические размеры матрицы видеокамеры в зависимости от соотношения сторон (4:3 или 16:9) и конкретного производителя с одной и той же диагональю различны. Поэтому, например, камера на матрице 1/3’’ с соотношением сторон 4:3 дает больший угол обзора по вертикали и меньший по горизонтали, чем камера на матрице с такой же диагональю, но соотношением 16:9 .
Выпускаются матрицы с тремя различными пропорциями пикселя:
Долгое время ПЗС-матрицы были практически единственным массовым видом фотосенсоров. Реализация технологии Active Pixel Sensors около 1993 года и дальнейшее развитие технологий привели в итоге к тому, что к 2008 году КМОП-матрицы стали практически альтернативой ПЗС .
ПЗС-матрица (CCD, «Charge Coupled Device») состоит из светочувствительных фотодиодов, выполнена на основе кремния, использует технологию ПЗС — приборов с зарядовой связью.
КМОП-матрица (CMOS, «Complementary Metal Oxide Semiconductor») выполнена на основе КМОП-технологии. Каждый пиксел снабжен усилителем считывания, а выборка сигнала с конкретного пиксела происходит, как в микросхемах памяти, произвольно.
SIMD WDR (англ. Wide dynamic range) матрица, также выполненная на основе КМОП-технологии, имеет в обрамлении каждого пиксела еще и автоматическую систему настройки времени его экспонирования, что позволяет радикально увеличить фотографическую широту устройства .
Создана и применяется компанией Panasonic. Выполнена на основе МОП-технологии, однако содержит меньшее число соединений для одного пикселя и питается меньшим напряжением. За счет этого и за счет упрощенной передачи регистров и управляющих сигналов имеется возможность получать «живое» изображение при отсутствии традиционного для такого режима работы перегрева и повышения уровня шумов.
В фотоаппаратах фирмы Fujifilm применяются матрицы, получившие название «Super CCD», в которых присутствуют зеленые пиксели двух различных размеров: большие, для малых уровней освещенности, и малые, совпадающие по размеру с синими и красными. Это позволяет увеличить фотографическую широту матрицы на величину до 4 ступеней .
продолжение следует...
Часть 1 Основы теории восприятия цвета человеком и компьютерной системой (фотоприемной КМОП и ПЗС матрицей), Байеровские фотофильтры
Часть 2 Современные попытки объяснения механизмов цветового зрения - Основы теории восприятия
Часть 3 Устройство одного пикселя ПЗС-матрицы - Основы теории восприятия цвета человеком
Часть 4 - Основы теории восприятия цвета человеком и компьютерной системой (фотоприемной
В заключение, эта статья об теории восприятия цвета человеком подчеркивает важность того что вы тут, расширяете ваше сознание, знания, навыки и умения. Надеюсь, что теперь ты понял что такое теории восприятия цвета человеком, цвет в компьютерной системе, цвет, восприятие цвета, теории цвета, теория цвета, фотоприемная матрица, байеровские фотофильтры, кмоп-матрица, кмоп матрица, пзс матрица и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Методы и средства компьютерных информационных технологий
Комментарии
Оставить комментарий
Методы и средства компьютерных информационных технологий
Термины: Методы и средства компьютерных информационных технологий