写真から高精度3D空間を作る「Gaussian Splatting」徹底解説

Gaussian Splatting（ガウシアン・スプラッティング）は、通常の写真からフォトリアリスティックな3Dシーンを作成するための三次元再構築技術です。従来の手作業によるモデリングを必要とせず、部屋や街並み、物体などを複数の角度から撮影するだけで、アルゴリズムがその立体的な表現を自動で再現します。

Gaussian Splattingの特徴と仕組み

この手法の最大の特徴は、結果が従来のポリゴンモデルとして構築されない点です。空間は無数の小さな立体要素で構成され、それらが重なり合ってシーンの画像を形成します。3D Gaussian Splattingは、細かなディテールや複雑なライティング、表面の質感を緻密に再現しつつ、仮想カメラをスムーズに動かせるのが魅力です。

3D Gaussian Splattingとは何か

3D Gaussian Splattingのベースとなるのは「ガウスプリミティブ」と呼ばれる要素です。これは、3D空間に配置された半透明の小さな斑点や楕円体のようなもので、位置・サイズ・向き・色・透明度などのパラメータを持ちます。また、カメラの視点によっても見え方が変化するため、複雑な表面やライティングの効果も忠実に再現可能です。

単体のガウスプリミティブはほとんど意味を持ちませんが、数十万〜数百万単位で集まることで、オブジェクトや空間全体のビジュアルをリアルに表現します。Gaussianという名称は数学的なガウス分布に由来し、プリミティブの中心から外側にかけて徐々に可視性が減少するため、エッジのない滑らかな合成が実現されます。

この技術は、従来の写真一枚一枚を保存するのではなく、シーンの空間的な記述を保持します。そのためユーザーは、元の撮影角度以外からも自由に仮想カメラを動かして観察できます。

従来の3Dモデルとの違い

従来の3Dモデルはポリゴンメッシュ（頂点と面で構成）で作られ、テクスチャやマテリアル、ノーマルマップなどを重ねて表現します。しかしGaussian Splattingでは、こうした連続的な表面ではなく、個々のガウスプリミティブが空間を満たしています。メッシュのエッジやトポロジーを持たず、BlenderやMayaのような3Dツールで編集することもできません。

そのため、Gaussian Splattingは従来の3Dモデリングの代替というよりも、現実のシーンをそのままキャプチャし、高精度にレンダリングするための全く新しい表現手法です。

ポリゴンモデルは変形やUV展開、ゲームエンジンでの利用に適していますが、Gaussian Splattingはリアルな空間のルックを素早く再現したい場面に最適です。特にインテリアや建築物、自然物など、手作業でのモデリングが困難な対象で効果を発揮します。

Gaussian Splattingによる3Dシーン生成プロセス

多角度からの撮影

シーン作成には1枚の写真だけでは不十分です。オブジェクトや空間を様々な角度から撮影し、隣接する写真同士に十分な重複があることが重要です。同じテーブルや壁の一部が複数の写真に写り込むことで、システムが空間内の同一点を特定できるようになります。

カメラを移動して撮影することで、近い物体と遠い物体が異なる見え方（パララックス）を示し、奥行き情報が得られます。ただし、照明の急激な変化やブレ、動く被写体、ディテールの乏しい単色の面は認識精度を下げる原因となります。

カメラ位置の推定

Gaussianシーンを構築する前に、各写真がどの場所・どの方向から撮影されたかを推定する必要があります。一般的にはStructure from Motion（SfM）という手法で、写真間の特徴点の一致を検出し、それらの移動からカメラの配置とシーンの大まかな構造を復元します。

この結果として、スパースな点群と仮想カメラ群が得られます。これがGaussian Splatting処理のスタート地点となり、点群が3Dガウスプリミティブに変換されていきます。

ガウスプリミティブの生成と最適化

初期の点群には粗いガウスプリミティブが割り当てられますが、位置・サイズ・色・透明度・形状などは最適化が必要です。アルゴリズムは既知のカメラの一つからシーンをレンダリングし、その画像と実際の写真を比較。差分があればプリミティブのパラメータを調整し、再度レンダリング、比較、修正を繰り返します。

必要に応じてプリミティブの数も増減。細部の再現に不足があれば密度を高め、不要な部分は削除。こうしてデータの密度が重要な領域に集中し、最終的には複数枚の写真から統合された3D表現となります。

新たな視点の生成

ユーザーが仮想カメラを動かすと、システムはその位置から見えるガウスプリミティブを選択し、3D座標を画面へ投影。各プリミティブは、サイズ・色・透明度・奥行きを考慮して重ね合わされます。これがsplattingと呼ばれるプロセスです。

この手法により、元の写真には存在しなかった新しい視点からの画像も生成可能。複数の写真セットが、インタラクティブなフォトリアリスティック3Dシーンへと生まれ変わります。

なぜGaussian Splattingはリアルなのか

色・透明度・視点依存性

Gaussian Splattingのフォトリアリズムは、単に要素が多いからだけではありません。各ガウスプリミティブは、空間上の座標だけでなく、自身のサイズ・形・透明度・色・視点依存性など、豊富な情報を保持しています。

例えば、丸みを帯びたもの、壁や床に沿って細長いものなど形状も様々。視点に応じて色味や明るさも変化し、金属の反射や光沢、角度による輝度の変化などもリアルに再現されます。また、透明度の重なりによって、滑らかな連続面の印象を与えます。

特に葉や草、複雑なインテリアなど、ディテールや質感が求められるシーンで、ポリゴンモデルでは困難な表現を可能にします。

高速レンダリング

Gaussian Splattingの登場以前にもフォトリアルな再構築技術は存在しましたが、この手法が急速に普及した理由の一つが高速な画質生成です。シーン準備後は、各仮想カメラごとに複雑なニューラルネットの推論を繰り返さずに済み、GPUでの並列処理にも適しています。

レンダリングではプリミティブの位置関係を計算し、画面上に投影、深度・透明度を加味して多数の要素を合成します。この方式は、リアルタイムでカメラ操作をしてもインタラクティブな閲覧が可能。従来のニューラルレンダリングより圧倒的に高速です。

ただし、シーン作成自体は瞬時には終わりません。写真処理・カメラ位置推定・ガウスプリミティブ最適化といった前処理に計算コストがかかります。

限界とアーティファクト

Gaussian Splattingは、元写真に写っていない部分の情報を正確に復元できません。オブジェクトの一部が全く撮影されていなければ、その外観を推測する手段がないからです。

また、カメラの軌道から大きく外れた視点では、ぼやけや浮遊する要素、切れ目などのアーティファクトが現れやすくなります。動いている人や車、動物、風に揺れる葉なども、複数写真で位置が異なると処理が難しくなります。ガラスや鏡のような透明・反射面も苦手です。

そのため、撮影時の品質が結果のクオリティに直結します。十分な重なりと高解像度、安定した照明条件での撮影が最も重要です。

Gaussian Splatting、フォトグラメトリ、NeRFの違い

フォトグラメトリとの比較

Gaussian Splattingとフォトグラメトリは、どちらも複数の写真から3Dシーンを生成しますが、アプローチが異なります。フォトグラメトリはまずカメラ位置推定とスパース点群生成、次にMulti-View Stereoで高密度点群、そしてポリゴンメッシュ・テクスチャの生成へ進みます。完成した3DアセットはBlenderやUnreal Engineなどで編集・活用できます。

一方、Gaussian Splattingは連続的な表面を復元せず、空間全体を3Dガウスプリミティブの集合体として扱い、視覚的な再現性を重視します。そのため、極めて細かなディテールを高密度ポリゴンなしで表現可能ですが、純粋な幾何情報の抽出や編集は難しい傾向があります。

つまり、編集可能な3Dモデルが必要ならフォトグラメトリ、ビジュアル重視ならGaussian Splattingが有効です。

NeRFとの違い

NeRF（Neural Radiance Fields）も写真セットから3Dシーンを再構築しますが、シーンの記述方法が異なります。NeRFは座標と視点方向を入力に、ニューラルネットワークが色や密度を出力する「暗黙的な関数モデル」です。一方、Gaussian Splattingは空間上に明示的な3Dガウスプリミティブを配置し、視覚情報を直接持たせます。

この違いはレンダリング時に顕著です。NeRFは各カメラレイごとにネットワーク推論が必要ですが、Gaussian Splattingは既存のプリミティブを投影・合成するだけなので、高速なレンダリングが可能です。

ただし、どちらが「優れている」というより、用途や求める結果によって適材適所です。最新のNeRFやGaussian Splattingにはさまざまなバリエーションがあります。

用途に応じた選択

• フォトグラメトリ：編集可能な3Dモデルや正確なジオメトリが必要な場合に最適（例：ゲーム、3Dプリント、測量など）。
• NeRF：新規視点の合成や研究分野で活躍。複雑な外観の内部表現に強み。
• Gaussian Splatting：高精度なビジュアル再現とインタラクティブな閲覧に最適。

また、AIによるtext-to-3D生成技術も注目されています。詳細は関連資料をご覧ください。

Gaussian Splattingの活用例

実空間・オブジェクトのデジタル化

最も分かりやすい用途は、実在空間のデジタルコピー作成です。部屋・オフィス・展示空間・建築や自然環境など、手作業でのモデリングが煩雑な環境を写真だけで高精度に再現できます。バーチャルツアー、不動産、ミュージアム、文化財の保存など、見た目の忠実さが求められる分野で活躍します。

また、定期的な状態記録（建設現場や室内の進捗管理）にも活用可能です。

ゲーム・VFX・バーチャルプロダクション

ゲーム開発では、現実のロケーションを素早くデジタル環境に取り込む手段として注目されています。すべてのオブジェクトを手作業で作らずとも、現実の写真からビジュアルを取得できます。ただし、物理演算や当たり判定などには従来のジオメトリが必要なため、ハイブリッドな利用が一般的です。

VFXやバーチャルプロダクションでも、現実のセットをデジタル化し、仮想カメラで撮影前のシミュレーションや、CGと実写の統合シーン製作に活用されています。

VR・AR・空間コンピューティング

Gaussian Splattingは、VRや空間コンピューティングとの親和性も高いです。通常の写真では一点からしか見られませんが、Gaussianシーンでは頭の動きや視点の変化に応じて、リアルな立体感で空間を体験できます。

ARやMR（複合現実）用途でも、現実空間のデジタルスキャンと仮想オブジェクトの融合に役立ちます。これは、コンピュータが世界を平面画像でなく三次元空間として捉える「空間コンピューティング」の発展と密接に関わります。詳しくは、空間コンピューティングに関する解説記事もご参照ください。

Gaussian Splattingは、写真撮影とフル3D環境とのギャップを埋める技術です。カメラは単なる撮像機から、インタラクティブな3D空間生成のデータソースへと進化しています。

まとめ

Gaussian Splattingは、現実世界のデジタルコピー生成における新たなアプローチを示しています。手作業によるモデリングや高密度なポリゴン構築に頼らず、写真を元にした多量の空間ガウスプリミティブでシーンを記述し、高速かつフォトリアルな3D体験を実現します。

複数のアングルから被写体を撮影し、カメラ位置の推定、シーンの初期化、ガウスプリミティブの最適化を経て、元写真にない視点からも観察可能な3D空間が完成します。

主なメリットは、フォトリアリスティックな画質と高速レンダリングの両立です。特に建築・インテリア・実空間のデジタル化、バーチャルツアー、VR、VFXなど、見た目重視の用途に最適です。

一方で、編集可能なメッシュや正確なジオメトリが必要な場合はフォトグラメトリや従来の3Dモデリングが適しています。Gaussian Splattingは、写真から短時間でインタラクティブな3D空間を再現したいときに最も有効な新しいツールとして注目されています。