Rasterisierung in der Computergrafik: So wandelt die Grafikkarte 3D-Szenen in Bilder um

Rasterisierung ist eine der wichtigsten Methoden, mit denen eine Grafikkarte eine dreidimensionale Szene aus einem Spiel oder einer Anwendung in ein zweidimensionales Bild auf dem Monitor verwandelt. Die 3D-Welt besteht aus Modellen, Oberflächen und Millionen von Dreiecken, während der Bildschirm nur ein Raster aus farbigen Pixeln darstellen kann.

Während des Renderings bestimmt die GPU die Position der Objekte relativ zur Kamera, projiziert sie auf den Bildschirm, ermittelt, welche Pixel sie belegen, und berechnet anschließend deren Farbe unter Berücksichtigung von Materialien, Texturen, Lichtquellen und weiteren Effekten. Dieser Prozess ermöglicht es, die mathematische Beschreibung einer virtuellen Welt innerhalb von Sekundenbruchteilen in ein fertiges Bild zu verwandeln.

Trotz der Weiterentwicklung von Raytracing und Path Tracing bleibt Rasterisierung das Fundament der Computergrafik und wird dank ihrer hohen Geschwindigkeit und Effizienz nach wie vor in nahezu allen modernen Spielen eingesetzt.

Was ist Rasterisierung einfach erklärt?

Rasterisierung ist der Prozess, bei dem geometrische Objekte einer dreidimensionalen Szene in eine Sammlung von Elementen für das spätere Bild auf dem Bildschirm umgewandelt werden. Vereinfacht gesagt nimmt die Grafikkarte virtuelle Objekte, die aus Polygonen bestehen, und bestimmt, welche Bereiche des Bildschirms sie einnehmen sollen.

Die meisten 3D-Modelle in Spielen bestehen aus einer Vielzahl von Dreiecken. Selbst wenn Figuren, Fahrzeuge oder Gebäude rund oder komplex wirken, können ihre Oberflächen geometrisch als ein Netz aus sehr vielen kleinen Dreiecken dargestellt werden.

Der Monitor ist jedoch nicht in der Lage, Dreiecke oder 3D-Koordinaten direkt anzuzeigen. Er zeigt ausschließlich ein zweidimensionales Raster aus Pixeln. Bevor ein Frame ausgegeben wird, muss die Grafikkarte also bestimmen, wo sich jedes Dreieck relativ zur Kamera befindet und welchen Bereich des Bildschirms es bedeckt.

Hier beginnt die Rasterisierung. Nach der Projektion der Geometrie auf die zweidimensionale Fläche ermittelt die GPU, welche Pixel innerhalb jedes Dreiecks liegen. Für diese Bereiche werden Fragmente erzeugt - Daten, die später zur Berechnung von Farbe, Textur, Beleuchtung und anderen Parametern herangezogen werden.

Wichtig ist, Rasterisierung nicht mit dem gesamten Rendering-Prozess zu verwechseln. Rendering umfasst viele Schritte: Geometrieverarbeitung, Shader-Ausführung, Tiefenprüfung, Beleuchtung und das Erstellen des finalen Frames. Rasterisierung ist nur einer dieser Schritte, aber sie verbindet die 3D-Geometrie der Szene mit dem zweidimensionalen Pixelraster des Bildschirms.

In Spielen wird Rasterisierung vor allem wegen ihrer Geschwindigkeit eingesetzt. Moderne GPUs können eine riesige Zahl von Dreiecken und Fragmenten parallel verarbeiten, sodass selbst komplexe Szenen dutzende oder hunderte Male pro Sekunde in fertige Bilder umgewandelt werden können.

Wie verwandelt die Grafikkarte eine 3D-Szene in ein Bild?

Aus welchen Komponenten besteht eine 3D-Szene?

Für die Grafikkarte ist die Spielwelt kein fertiges Bild, sondern eine Ansammlung von Daten. Objekte werden durch Scheitelpunkte mit 3D-Koordinaten beschrieben, die wiederum zu Dreiecken verbunden werden. Zusätzlich liefert die Engine Informationen zu Materialien, Texturen, Lichtquellen und der Kameraposition.

Sogar ein komplexes Charaktermodell kann aus Zehntausenden oder Hunderttausenden von Dreiecken bestehen. Je mehr davon, desto genauer lässt sich die Form abbilden, allerdings steigt damit auch die Menge an Geometrie, die die GPU verarbeiten muss.

Vor der Rasterisierung muss die Grafikkarte die Position jedes Scheitelpunkts relativ zur Kamera bestimmen. Objekte können sich bewegen, drehen oder skalieren - deshalb werden ihre Koordinaten schrittweise vom lokalen Modellraum in den Szenenraum und dann relativ zur Kamera umgerechnet.

Wie werden 3D-Koordinaten zu einem Bild auf dem Bildschirm?

Nach der Positionsberechnung erfolgt die Projektion. Sie wandelt die 3D-Koordinaten in 2D-Bildschirmkoordinaten um und speichert gleichzeitig Tiefeninformationen. Durch perspektivische Projektion erscheinen entfernte Objekte kleiner und nahe größere - so wie beim normalen Sehen oder Fotografieren.

Die Grafikkarte muss dabei nicht die gesamte Geometrie gleich behandeln. Dreiecke, die komplett außerhalb des Sichtfelds der Kamera liegen, werden verworfen. An den Bildrändern wird die Geometrie beschnitten, sodass nachfolgende Berechnungen nur für den sichtbaren Bereich stattfinden.

Auch Flächen, die ohnehin nicht sichtbar sind, werden möglichst früh aus der Berechnung ausgeschlossen. Beispielsweise lassen sich Rückseiten von geschlossenen Objekten meist schon vor der Pixelberechnung ausklammern.

Nach diesen Schritten hat jedes verbleibende Dreieck eine genaue Position auf der zweidimensionalen Fläche des kommenden Frames. Die Grafikkarte kann nun zur Rasterisierung übergehen und bestimmen, welche Bereiche des Bildschirms von diesem Dreieck abgedeckt werden.

Die parallele Architektur der GPU ermöglicht es, solche Operationen gleichzeitig auf einer riesigen Menge von Scheitelpunkten und anderen Grafikdaten auszuführen. Mehr zu den Recheneinheiten moderner NVIDIA-Grafikkarten lesen Sie im Beitrag Was sind CUDA-Kerne in NVIDIA-Grafikkarten und wie beeinflussen sie die GPU-Leistung?.

Wie werden Dreiecke rasterisiert und Pixel erzeugt?

Warum arbeitet die Grafikkarte mit Dreiecken?

Das Dreieck ist die kleinste geometrische Form, die immer eine eindeutige Ebene definiert. Drei Eckpunkte können nicht so angeordnet werden, dass die Fläche dazwischen uneindeutig wäre, daher lässt sich diese Geometrie besonders effizient und schnell auf der GPU verarbeiten.

Praktisch jede komplexe Form lässt sich in Dreiecke zerlegen: eine Kugel, die Karosserie eines Autos, ein Charaktergesicht oder eine riesige Spielwelt werden der Grafikkarte letztlich als Sammlung einfacher Primitiven präsentiert.

Welche Pixel gehören zu einem Dreieck?

Nach der Projektion eines Dreiecks auf den Bildschirm beginnt die eigentliche Rasterisierung. Die GPU bestimmt, welche Rasterpunkte des Bildschirms innerhalb der Grenzen des Dreiecks liegen. Daraus entstehen Fragmente - Kandidaten für die späteren Bildpixel.

Es reicht jedoch nicht, nur zu wissen, dass ein Punkt zum Dreieck gehört. Für jeden Fragmentpunkt müssen auch die Oberflächenparameter berechnet werden: Tiefe, Texturkoordinaten, Normalenrichtung und andere Daten.

Diese Werte werden zwischen den Eckpunkten interpoliert. Wenn z.B. jeder Ecke eines Dreiecks eigene Texturkoordinaten zugeordnet sind, berechnet die GPU Zwischenwerte für alle Fragmente dazwischen. Dadurch kann eine Textur nahtlos auf die Oberfläche gelegt werden, ohne dass für jedes Pixel einzelne Daten benötigt werden.

Wie bestimmen Shader die Pixel-Farbe?

Nach der Rasterisierung werden die erzeugten Fragmente weiterverarbeitet. Hier kommt meist der Pixel- oder Fragment-Shader ins Spiel - ein kleines Programm, das das Aussehen der Oberfläche bestimmt.

Der Shader kann die Farbe aus einer Textur entnehmen, Materialparameter berücksichtigen, die Lichtrichtung, Oberflächennormalen, Reflexionen und viele weitere Faktoren einbeziehen. So wird für jedes Fragment die finale Farbe berechnet.

Der Prozess kann deutlich komplexer sein als das reine Auslesen einer Textur. Moderne Spiele verwenden Normal Maps, physikalisch basierte Materialien, mehrere Lichtquellen, Schatten und Post-Processing. Das Grundprinzip bleibt aber: Rasterisierung bestimmt, wo sich Geometrie auf dem Bildschirm befindet, die Shader entscheiden, wie sie aussieht.

Mehr darüber, warum Shader manchmal vor Spielstart kompiliert werden müssen und wie das funktioniert, erfahren Sie im Artikel Shader-Kompilierung in Spielen: Warum und wie funktioniert das am PC?.

Die Grafikpipeline der GPU: Was passiert pro Frame?

Rasterisierung ist nur ein Schritt in einem größeren Prozess, der als Grafikpipeline bezeichnet wird. Während der Erzeugung eines Frames durchlaufen die Daten mehrere aufeinanderfolgende Stadien - von der Verarbeitung der 3D-Geometrie bis zum Schreiben der fertigen Farben in den Bildpuffer.

Zunächst übergibt die Spiele-Engine der Grafikkarte Informationen zur Szene: Geometrie der Objekte, Texturen, Materialeigenschaften, Kameraposition und weitere Daten. Danach beginnt die GPU mit der Verarbeitung der Scheitelpunkte und transformiert deren Koordinaten entsprechend der Objekt- und Beobachterposition.

Der nächste Schritt ist das Zusammenstellen der Primitiven. Einzelne Scheitelpunkte werden zu Dreiecken verbunden, wobei ein Teil der Geometrie ausgeschnitten werden kann. Befindet sich ein Dreieck komplett außerhalb des Sichtfelds, spart man sich weitere Verarbeitungsschritte.

Die verbleibende Geometrie wird an den Rasterizer übergeben. Er ermittelt, welchen Bereich des Bildschirms jedes Dreieck einnimmt, und erzeugt Fragmente für die entsprechenden Bildbereiche. Anschließend berechnen Fragment-Shader deren Aussehen anhand von Texturen, Materialien und Beleuchtung.

Das Vorhandensein eines Fragments bedeutet jedoch nicht automatisch, dass es im finalen Frame sichtbar ist. Mehrere Objekte können auf denselben Bildbereich projiziert werden. Um festzustellen, welche Oberfläche näher an der Kamera liegt, wird ein Tiefenpuffer (Z-Buffer) verwendet. Ist bereits eine andere Oberfläche davor, kann das verdeckte Fragment verworfen werden.

Nach allen Prüfungen wird die berechnete Farbe in den Framebuffer geschrieben. Aus dessen Inhalt entsteht das Bild, das letztlich auf dem Monitor angezeigt wird.

In modernen Grafik-APIs erhalten Entwickler sehr niedrigen Zugriff auf die Organisation der GPU und das Übermitteln von Grafikbefehlen. Mehr dazu lesen Sie im Beitrag Vulkan und DirectX 12: Vergleich der Grafik-APIs für Spiele und Anwendungen.

Dieser gesamte Ablauf wird für jeden Frame wiederholt. Bei 60 FPS muss die Grafikkarte die Hauptschritte der Grafikpipeline etwa 60 Mal pro Sekunde durchlaufen, bei 144 FPS sogar 144 Mal. Die Geschwindigkeit der Geometrie-, Rasterisierungs- und Shaderverarbeitung hat also einen direkten Einfluss auf die Spieleleistung.

Rasterisierung und Raytracing: Wo liegt der Unterschied?

Rasterisierung und Raytracing verfolgen das gleiche Ziel - ein Bild einer 3D-Szene zu erzeugen - nutzen dafür jedoch grundsätzlich verschiedene Ansätze. Bei der Rasterisierung beginnt die Grafikkarte mit der Geometrie und bestimmt, welche Bereiche des Bildschirms von jedem Dreieck abgedeckt werden.

Raytracing arbeitet anders: Statt Geometrie direkt in Bildschirmfragmente umzuwandeln, simuliert der Algorithmus das Verhalten von Lichtstrahlen in der virtuellen Szene. Ein Strahl kann mit Objekten kollidieren, von Oberflächen reflektiert werden oder an der Berechnung von Schatten und Beleuchtung teilnehmen.

So lassen sich viele optische Effekte natürlicher berechnen. Zum Beispiel können Reflexionen reale Objekte in der Umgebung einbeziehen, und Schatten berücksichtigen die Position der Lichtquelle und die Geometrie der Szene. Bei klassischer Rasterisierung werden ähnliche Ergebnisse oft über spezielle Techniken und vorberechnete Daten erzielt.

Der größte Vorteil der Rasterisierung ist die Geschwindigkeit. GPUs wurden jahrzehntelang für die Verarbeitung riesiger Mengen an Dreiecken optimiert, viele Schritte der Grafikpipeline laufen parallel ab. Dadurch kann die Grafikkarte auch in sehr komplexen Szenen hohe Bildraten liefern.

Raytracing benötigt erheblich mehr Rechenleistung, da das Durchlaufen und Testen von Strahlen gegen die Geometrie aufwändig ist. Ein kompletter Verzicht auf Rasterisierung ist deshalb in heutigen Spielen selten. Stattdessen setzen Entwickler häufig auf hybrides Rendering.

Die Hauptszene wird dabei weiterhin mit Rasterisierung aufgebaut, und Raytracing kommt gezielt dort zum Einsatz, wo es das Bild merklich verbessert - etwa für Reflexionen, Schatten oder globale Beleuchtung. So gelingt die Verbindung von hoher Performance klassischer Rendering-Technik mit realistischeren Lichteffekten.

Ein noch rechenintensiveres Verfahren ist Path Tracing, bei dem das Lichtverhalten noch viel umfassender simuliert wird. Mehr dazu lesen Sie im Artikel Path Tracing in Spielen: Zukunft der Grafik und Unterschiede zu Raytracing.

Fazit

Rasterisierung verwandelt eine 3D-Szene über die stufenweise Verarbeitung der Geometrie in ein Bild. Die Grafikkarte erhält Scheitelpunkte und Dreiecke, transformiert sie relativ zur Kamera, projiziert sie auf den Bildschirm und bestimmt, welche Bildbereiche die Objekte belegen. Anschließend berechnen Shader das Aussehen der Oberflächen, und Tiefenprüfungen sorgen dafür, dass nur sichtbare Fragmente erhalten bleiben.

Die größte Stärke der Rasterisierung ist ihre Geschwindigkeit. Moderne GPUs können parallel riesige Mengen an Geometrie verarbeiten und dies dutzende oder hunderte Male pro Sekunde wiederholen. Deshalb bleibt diese Technologie trotz aufwändigerer Alternativen die Basis des Renderings in den meisten Spielen.

Raytracing und Path Tracing eröffnen neue Möglichkeiten für realistische Lichteffekte, erfordern aber deutlich mehr Rechenleistung. In der Praxis ist daher die Kombination aus beiden Ansätzen am effektivsten: Die Rasterisierung sorgt für den schnellen Aufbau der Hauptszene, während Raytracing gezielt für realistischere Beleuchtung, Schatten und Reflexionen eingesetzt wird.