Фильтр Байера формирует цветное изображение на матрице камеры с помощью мозаики цветных фильтров. Демозаика восстанавливает недостающие цветовые значения, что влияет на детализацию и появление муара. Узнайте, почему важен зелёный канал и как бороться с ложными цветами.
Фильтр Байера - это мозаика из красных, зелёных и синих светофильтров на матрице камеры. Каждый фотодиод измеряет, сколько света прошло через его фильтр. Поэтому в каждой точке матрица получает одно измерение, хотя для пикселя цветной фотографии нужны три значения - красного, зелёного и синего каналов.
Два недостающих значения алгоритм оценивает по соседним фотодиодам. Этот процесс называется демозаикой. Чтобы понять, как она работает и откуда на снимке мелкой ткани иногда берутся цветные полосы, начнём с того, что именно измеряет матрица.
Во время съёмки объектив проецирует изображение на матрицу. Она состоит из множества светочувствительных ячеек. В каждой из них есть фотодиод, который накапливает электрический заряд под действием света. Чем больше света получил фотодиод за время выдержки, тем сильнее его сигнал, пока ячейка не достигла насыщения. По величине заряда можно судить об интенсивности света, но определить его цвет по одному такому измерению нельзя.
Цветные фильтры матрицы камеры позволяют измерять свет в разных участках видимого спектра. Над каждым фотодиодом расположен свой фильтр. Например, красный пропускает преимущественно длинноволновую часть видимого света. Если на матрицу спроецировать изображение красного яблока, на участке его кожуры сигнал под красными фильтрами обычно будет сильнее, чем под синими.
Подробнее о том, как устроены фотодиоды и как камера считывает их сигналы, - в статье CMOS-матрица камеры: как работает, устроены пиксели и от чего зависит качество снимков.
В характеристиках камеры светочувствительную ячейку тоже называют пикселем, отсюда и путаница. Пиксель матрицы даёт одно измерение в своей точке, а пиксель готового снимка хранит три цветовых значения. Чтобы собрать из отдельных измерений цветное изображение, алгоритму нужно знать, какой фильтр стоит над каждой ячейкой. Эту информацию задаёт схема мозаики Байера.
Классическая мозаика Байера складывается из одинаковых блоков 2 × 2. В схеме RGGB верхний ряд блока занимают красный и зелёный фильтры, нижний - зелёный и синий. Буквы в названии идут в том же порядке, в каком читаются ячейки блока: слева направо, сверху вниз.
| Ряд | Левая ячейка | Правая ячейка |
|---|---|---|
| Верхний | R - красный | G - зелёный |
| Нижний | G - зелёный | B - синий |
Зелёные фильтры стоят по диагонали, поэтому в каждом ряду и в каждом столбце через одну ячейку встречается зелёная. На неё приходится половина всех измерений, а на красную и синюю - по четверти. В других вариантах мозаики Байера, например BGGR и GRBG, расположение цветов меняется, а пропорция остаётся той же.
В камерах смартфонов встречается Quad Bayer. В этой схеме фильтры одного цвета собраны в группы по 2 × 2 ячейки, а сами группы расположены по схеме Байера. В матрицах X-Trans используется другая мозаика с повторяющимся блоком 6 × 6.
Зелёный канал вносит большой вклад в воспринимаемую яркость цветного изображения. Поэтому более частые измерения в этом канале помогают передать мелкие перепады яркости, по которым мы различаем контуры и фактуру. Например, на снимке серой ткани отдельные нити видны благодаря чередованию светлых участков и теней между ними.
Алгоритм демозаики может использовать эти перепады как ориентир. Если по соседним зелёным ячейкам заметна резкая граница, при восстановлении цвета полезнее брать измерения вдоль неё. Так меньше риск смешать цвета с двух сторон контура.
Возьмём ячейку под красным фильтром в мозаике RGGB. Её измерение даёт красную составляющую будущего пикселя. Слева, справа, сверху и снизу находятся зелёные ячейки, а по диагоналям - синие. Простейший способ восстановить цвет - взять среднее четырёх ближайших зелёных измерений для зелёного канала и среднее четырёх синих для синего.
На однотонном участке, например посреди стены, соседние ячейки видят примерно одинаковый цвет. У края тёмной оконной рамы часть соседей уже попадает на раму, а часть - на светлую стену. Если усреднить их показания, граница может стать менее чёткой, а вдоль неё появится цветная полоска.
Чтобы сохранить контур, некоторые алгоритмы сравнивают, насколько резко меняется сигнал по горизонтали и вертикали. У вертикального края рамы ближайшие точки сверху и снизу с большей вероятностью лежат на той же поверхности. Алгоритм может дать им больший вес при оценке зелёного канала. Такой подход помогает точнее восстановить цвет там, где соседние ячейки видят разные предметы.
При съёмке в JPEG демозаику выполняет процессор камеры. Он восстанавливает три цветовых канала, применяет настройки баланса белого и цветопередачи, а затем сохраняет готовое изображение. Если камера записывает обычный мозаичный RAW, в файле сохраняются отдельные измерения ячеек и данные о схеме фильтров. Демозаику выполняет RAW-конвертер, когда открывает файл для обработки.
На экране камеры RAW-снимок уже выглядит цветным. Для просмотра камера обычно использует JPEG-превью, встроенное в RAW-файл. Оно создаётся с настройками камеры, поэтому при открытии снимка в редакторе оттенки и контраст могут измениться.
Даже два RAW-конвертера могут по-разному показать один и тот же кадр. Алгоритм демозаики влияет на то, как выглядят мелкие цветные детали и контуры. На общий оттенок снимка сильнее влияют баланс белого, цветовой профиль и тоновая кривая. Например, в одном редакторе белая стена может выглядеть теплее, а в другом отдельные нити на мелком узоре будут заметнее.
Представим ткань в тонкую чёрно-белую полоску. Если на матрице каждая полоса занимает лишь одну-две ячейки, соседние фотодиоды могут попасть на разные полосы. Из-за небольшого наклона ткани относительно сетки матрицы в одном месте ячейки чаще попадают на светлые полосы, а в другом - на тёмные. На снимке появляется более крупный узор из волн или полос. Это муар.
На таком рисунке демозаика может принять перепад яркости за перепад цвета. Например, несколько ячеек под зелёными фильтрами попали на белую полосу, а соседние ячейки под красными и синими - на чёрную. При восстановлении RGB зелёная составляющая оказывается сильнее, и на чёрно-белой ткани появляется зеленоватый оттенок. Так возникают ложные цвета.
Если муар заметен во время съёмки, попробуйте немного изменить расстояние до ткани или угол камеры и сделать ещё один кадр. Это изменит размер или положение полос относительно сетки матрицы. При обработке RAW можно применить локальное подавление муара к проблемному участку. Оно помогает убрать цветные разводы, хотя крупный узор яркости может остаться.
Фильтр Байера распределяет измерения красного, зелёного и синего каналов по матрице. В классической мозаике зелёный измеряется в каждой второй ячейке, а красный и синий - каждый в каждой четвёртой. При демозаике камера или RAW-конвертер оценивает недостающие значения по соседним ячейкам и собирает цветное изображение.
Если на мелком узоре появились цветные полосы, откройте RAW и проверьте этот участок при масштабе 100%. Примените локальное подавление муара и посмотрите, сохранилась ли фактура. Если цветные полосы исчезли, а светлые и тёмные волны остались, при повторной съёмке попробуйте немного изменить ракурс или расстояние до объекта.