Растеризация: как видеокарта превращает 3D-сцену в изображение

Растеризация - один из основных способов, с помощью которых видеокарта превращает трёхмерную сцену игры или приложения в обычное двумерное изображение на мониторе. 3D-мир состоит из моделей, поверхностей и миллионов треугольников, тогда как экран способен отображать только сетку цветных пикселей.

Во время рендеринга GPU определяет положение объектов относительно камеры, проецирует их на экран, выясняет, какие пиксели они занимают, а затем рассчитывает их цвет с учётом материалов, текстур, освещения и других эффектов. Именно этот процесс позволяет за доли секунды превратить математическое описание виртуального мира в готовый кадр.

Несмотря на развитие трассировки лучей и Path Tracing, растеризация по-прежнему остаётся фундаментом компьютерной графики и используется практически во всех современных играх благодаря высокой скорости и эффективности.

Что такое растеризация простыми словами

Растеризация - это процесс преобразования геометрических объектов трёхмерной сцены в набор элементов будущего изображения на экране. Проще говоря, видеокарта берёт виртуальные объекты, состоящие из полигонов, и определяет, какие участки экрана они должны занимать.

Большинство 3D-моделей в играх построено из множества треугольников. Даже если персонаж, автомобиль или здание выглядят округлыми и сложными, на уровне геометрии их поверхность можно представить как сетку из большого количества небольших треугольников.

Монитор при этом не умеет отображать треугольники или трёхмерные координаты напрямую. Он показывает только двумерную сетку пикселей. Поэтому перед выводом кадра видеокарте необходимо определить, где каждый треугольник окажется относительно камеры и какую область экрана он закроет.

Именно здесь начинается растеризация. После проекции геометрии на двумерную плоскость GPU определяет, какие пиксели находятся внутри каждого треугольника. Для этих участков создаются фрагменты - данные, на основе которых позже рассчитываются цвет, текстуры, освещение и другие параметры изображения.

Важно не путать растеризацию со всем процессом рендеринга. Рендеринг включает множество этапов: обработку геометрии, работу шейдеров, проверку глубины, освещение и формирование итогового кадра. Растеризация - только один из этих этапов, но именно она связывает трёхмерную геометрию сцены с двумерной сеткой экрана.

В играх растеризация используется прежде всего из-за высокой скорости. Современные GPU способны параллельно обрабатывать огромное количество треугольников и фрагментов, поэтому сложная сцена может превращаться в готовое изображение десятки или даже сотни раз в секунду.

Как видеокарта превращает 3D-сцену в изображение

Из чего состоит трёхмерная сцена

Для видеокарты игровой мир - это не готовая картинка, а набор данных. Объекты описываются вершинами с координатами в трёхмерном пространстве, а вершины соединяются в треугольники. Дополнительно движок передаёт информацию о материалах, текстурах, источниках света и положении камеры.

Даже сложная модель персонажа может состоять из десятков или сотен тысяч треугольников. Чем их больше, тем точнее можно передать форму поверхности, но тем больше геометрии приходится обрабатывать GPU.

Перед растеризацией видеокарта должна определить положение каждой вершины относительно камеры. Объекты могут перемещаться, вращаться и менять масштаб, поэтому их координаты последовательно преобразуются из локального пространства модели в пространство всей сцены, а затем - относительно виртуальной камеры.

Как 3D-координаты превращаются в изображение на экране

После обработки положения объектов выполняется проекция. Она переводит трёхмерные координаты в двумерные экранные, одновременно сохраняя информацию о глубине. Благодаря перспективной проекции удалённые объекты выглядят меньше, а близкие - больше, как при обычном зрении или съёмке камерой.

При этом видеокарте нет смысла обрабатывать всю геометрию одинаково. Треугольники, находящиеся полностью за пределами поля зрения камеры, можно отбросить. Часть геометрии на границе кадра обрезается, чтобы дальнейшие вычисления выполнялись только для видимой области.

Также движки и GPU стараются не тратить ресурсы на поверхности, которые всё равно невозможно увидеть. Например, обратная сторона закрытого объекта часто может быть исключена ещё до расчёта пикселей.

После этих этапов каждый оставшийся треугольник уже имеет определённое положение на двумерной плоскости будущего кадра. Теперь видеокарта может перейти непосредственно к растеризации и определить, какие участки экрана этот треугольник покрывает.

Параллельная архитектура GPU позволяет выполнять подобные операции сразу над огромным количеством вершин и других графических данных. Подробнее о вычислительных блоках видеокарт NVIDIA можно прочитать в статье Что такое CUDA-ядра в видеокарте NVIDIA и от чего зависит производительность GPU.

Как происходит растеризация треугольников и появляются пиксели

Почему видеокарта работает с треугольниками

Треугольник - минимальная геометрическая фигура, которая всегда задаёт однозначную плоскость. Три вершины нельзя расположить так, чтобы поверхность между ними оказалась неоднозначной, поэтому такую геометрию удобно и быстро обрабатывать на GPU.

Практически любую сложную форму можно разбить на треугольники. Сфера, кузов автомобиля, лицо персонажа или огромная игровая локация в итоге представляются видеокарте как набор простых примитивов.

Какие пиксели принадлежат треугольнику

После проекции треугольника на экран начинается непосредственно растеризация. GPU определяет, какие точки экранной сетки находятся внутри его границ. На основе этого создаются фрагменты - кандидаты на будущие пиксели изображения.

При этом видеокарте недостаточно просто понять, что конкретная точка принадлежит треугольнику. Для неё также нужно вычислить параметры поверхности в этом месте: глубину, координаты текстуры, направление нормали и другие данные.

Эти значения интерполируются между вершинами. Например, если каждой вершине треугольника соответствуют свои координаты текстуры, GPU рассчитывает промежуточные координаты для всех фрагментов между ними. Благодаря этому одна текстура может плавно натягиваться на поверхность модели без необходимости отдельно задавать данные для каждого пикселя.

Как шейдеры формируют цвет пикселя

После растеризации полученные фрагменты передаются на дальнейшую обработку. Здесь обычно работает пиксельный или фрагментный шейдер - небольшая программа, которая определяет внешний вид поверхности.

Шейдер может считывать цвет из текстуры, учитывать параметры материала, направление света, нормали поверхности, отражения и множество других данных. В результате для каждого фрагмента вычисляется итоговый цвет.

Сам процесс может быть значительно сложнее простого чтения текстуры. Современные игры используют карты нормалей, физически корректные материалы, несколько источников света, тени и постобработку. Однако принцип остаётся тем же: растеризация определяет, где на экране находится геометрия, а шейдеры решают, как она должна выглядеть.

Подробнее о том, почему шейдеры иногда компилируются перед запуском игры и зачем это вообще требуется, можно прочитать в статье Компиляция шейдеров в играх: почему и как это работает на ПК.

Графический конвейер GPU: что происходит за один кадр

Растеризация - лишь один этап более крупного процесса, который называют графическим конвейером. За время формирования одного кадра данные проходят через несколько последовательных стадий: от обработки трёхмерной геометрии до записи готовых цветов в буфер изображения.

Сначала игровой движок передаёт видеокарте информацию о сцене: геометрию объектов, текстуры, параметры материалов, положение камеры и другие данные. После этого GPU начинает обрабатывать вершины моделей и преобразовывать их координаты с учётом положения объектов и наблюдателя.

Следующий этап связан со сборкой примитивов. Отдельные вершины объединяются в треугольники, после чего часть геометрии может быть отсечена. Например, если треугольник полностью находится за пределами видимой области, его дальнейшая обработка не принесёт пользы.

Оставшаяся геометрия передаётся растеризатору. Он определяет, какую область экрана занимает каждый треугольник, и создаёт фрагменты для соответствующих участков изображения. После этого фрагментные шейдеры рассчитывают их внешний вид с учётом текстур, материалов и освещения.

Однако наличие фрагмента ещё не означает, что он обязательно окажется в итоговом кадре. Несколько объектов могут проецироваться на один и тот же участок экрана. Для определения того, какая поверхность находится ближе к камере, используется буфер глубины - Z-buffer. Если перед объектом уже расположена другая поверхность, скрытый фрагмент можно не выводить.

После необходимых проверок рассчитанный цвет записывается в кадровый буфер. Из содержимого этого буфера формируется изображение, которое в конечном счёте выводится на монитор.

В современных графических API разработчики получают достаточно низкоуровневый контроль над тем, как организуется работа GPU и передаются графические команды. Подробнее об этом можно прочитать в статье Vulkan и DirectX 12: сравнение графических API для игр и приложений.

Весь этот процесс приходится выполнять заново для каждого кадра. При 60 FPS видеокарта должна пройти основные этапы графического конвейера примерно 60 раз в секунду, а при 144 FPS - уже 144 раза. Поэтому скорость обработки геометрии, растеризации и шейдеров напрямую влияет на производительность игры.

Растеризация и трассировка лучей: в чём разница

Растеризация и трассировка лучей решают одну задачу - формируют изображение трёхмерной сцены, - но делают это принципиально разными способами. При растеризации видеокарта начинает с геометрии и определяет, какие участки экрана покрывает каждый треугольник.

Ray Tracing работает иначе. Вместо преобразования геометрии непосредственно в экранные фрагменты алгоритм моделирует движение лучей через виртуальную сцену. Луч может пересекаться с объектами, отражаться от поверхностей или участвовать в расчёте теней и освещения.

Такой подход позволяет естественнее рассчитывать многие оптические эффекты. Например, отражение может учитывать реальные объекты вокруг поверхности, а тень - положение источника света и геометрию сцены. При обычной растеризации похожий результат часто получают с помощью отдельных техник и заранее подготовленных данных.

Главное преимущество растеризации - производительность. GPU десятилетиями оптимизировались для обработки огромного количества треугольников, а многие стадии графического конвейера выполняются параллельно. Благодаря этому видеокарта может формировать кадры с высокой частотой даже в очень сложных сценах.

Трассировка лучей требует значительно больше вычислений, поскольку необходимо анализировать пересечения лучей с геометрией. Поэтому полный отказ от растеризации в современных играх встречается редко. Вместо этого разработчики часто используют гибридный рендеринг.

Основная сцена в таком случае строится с помощью растеризации, а Ray Tracing используется только там, где он даёт заметное улучшение изображения: например, для отражений, теней или глобального освещения. Такой подход позволяет сочетать высокую производительность классического рендеринга с более реалистичными световыми эффектами.

Ещё более вычислительно сложным вариантом является Path Tracing, при котором поведение света моделируется значительно полнее. Подробнее об этой технологии можно прочитать в статье Path Tracing в играх: будущее графики и отличие от Ray Tracing.

Заключение

Растеризация превращает трёхмерную сцену в изображение через последовательную обработку геометрии. Видеокарта получает вершины и треугольники, преобразует их относительно камеры, проецирует на экран и определяет, какие участки будущего кадра занимает каждый объект. После этого шейдеры рассчитывают внешний вид поверхностей, а проверки глубины помогают оставить только видимые фрагменты.

Главная сила растеризации - скорость. Современные GPU способны параллельно обрабатывать огромное количество геометрии и выполнять этот процесс десятки или сотни раз в секунду. Именно поэтому технология остаётся основой рендеринга большинства игр, несмотря на появление более сложных методов.

Ray Tracing и Path Tracing расширяют возможности графики и позволяют точнее моделировать свет, но требуют значительно больше вычислений. Поэтому на практике наиболее эффективным остаётся сочетание технологий: растеризация отвечает за быстрое построение основной сцены, а трассировка лучей дополняет её там, где требуется более реалистичное освещение, тени и отражения.