Wir stellen hier ein paar Informationen zum Thema „Photogrammetrie“ zusammen.

Diese Informationen sollen Lehrern und Schülern bei der Durchführung der Projekttage „digitaler Denkmalerhalt“ helfen.

Photogrammetrie… Häh?

Die schnellste und zugänglichste Methode um dreidimensionale, digitale Zwillinge zu erstellen ist die Photogrammetrie.

Kurz gesagt werden von einem Objekt oder einer Szene hunderte oder tausende von Fotos geschossen, die dann mittels einer Software in ein 3D Objekt konvertiert werden.

Das Ergebnis sind dann zum Beispiel so aus:

Also: was brauchen wir?

Voraussetzungen und benötigtes Equipment

Die gute Nachricht vorab: die Kosten sind minimal, das Thema ist leicht zugänglich und erzeugt bei Schülern aller Altersgruppen ab der 9. Klasse schnell eine Faszination.

Benötigt werden:

• Kameras – die Smartphone Kameras der Schüler reichen vollkommen aus, ggf. vorhandene DSLR oder Systemkameras sind umso besser
• mindestens ein PC mit einer NVIDIA Grafikkarte
• Die Software RealityCapture
• ein Schulaccount bei Sketchfab
• KnowHow wie Szenen und Objekte zu fotografieren sind
• KnowHow im Umgang mit der Software RealityCapture

Die Kameras

Die Kameras dienen den Schülern natürlich dazu, die Fotos von einem Objekt oder eine Szene zu schießen.

Je höher die Kamera auflöst, desto mehr Details kann das spätere 3D Objekt widergeben.

Moderne Smartphones mit Ihren 12 Megapixel Sensoren oder besser reichen für unsere Zwecke vollständig aus.

PC mit NVIDIA Grafik Karte

Dies mag für einige Schulen eine Hürde sein: Wir brauchen einen „Gaming PC“. Die Nvidia Grafikkarte brauchen wir, weil die von uns eingesetzte Software „RealityCapture“ diese zwingend voraussetzt.

Die gute Nachricht: wir brauchen nicht das neueste Model. Selbst alte Karten wie eine NVIDIA 760 GTX reichen vollkommen aus.

RealityCapture

Es gibt verschiedene Software für das Thema Photogrammetrie – wir setzen auf den Platzhirschen RealityCapture.

Aus unserer Erfahrung liefert diese Software nicht nur die schnellsten und besten Ergebnisse – auch das Lizenzmodell kommt unserem Projekt sehr entgegen.

Wir können das PPI (pay-per-input) Lizenzmodell nutzen. Hierbei zahlt man erst beim Exportieren eines 3D Modells (z.B. export nach Sketchfab) und man zahlt auch nur für die Fotos, die für Erstellung der Geometrie des Modells tatsächlich auch herangezogen worden sind.

Auf der Webseite der Software gibt es einen Rechner für zu erwartende Lizenzkosten.

Wenn wir mal den Fall annehmen, dass wir für ein Objekt 300 Fotos mit je 12 megapixel hergenommen haben, kostet uns dieses Model 2,25 $

Bezahlung kann bequem per paypal oder Kreditkarte erfolgen.

Sketchfab

Sketchfab ist quasi das InstaGram für 3D Content.

Auf Sketchfab können 3D Modelle hochgeladen werden, sie können geteil, kommentiert und sogar verkauft werden.

Man sollte Sketchfab als eigenen sozialen Kanal sehen, der weitere Reichweiter erzeugen kann.

Die Schule macht also sicherlich keinen Fehler sich hier einen Account anzulegen, die erzeugten 3D Modelle hier zu sammeln und diesen Content dann in die eigene Social Media Aktivitäten einzubinden.

Wie muss fotografiert werden?

Photogrammetrie verlangt einen etwas anderen Blick auf die Szene als klassische – künstlerische – Fotografie.

Grundsätzlich schaut man sich das fragliche Objekt an und analysiert die geometrische Komplexität.

Es gilt: Bereiche mit großer geometrischer Komplexität müssen häufiger und aus mehr Perspektiven fotografiert werden, als weniger Komplexe Bereiche.

Auch ist es sinnvoll aus wechselnden Abständen zu fotografieren.

Es sollte jeder Punkt des Objekts auf mindestens 3 Fotos aus verschiedenen Perspektiven zu sehen sein.

Es macht Sinn, zuerst eine Szene oder ein Objekt mit einigen Fotos in Ganzen zu erfassen und dann die identifizierten Details nach und nach mit weiteren Fotos abzubilden.

Das erleichtert es der Software später Detailfotos zuzuordnen.

Jedes Foto muß von der Software in der Scene verortet werden können.

Das heißt: es muß eine recht hohe Überdeckung zwischen den einzelnen Bildern erreicht werden.

Als Faustregel kann gelten: zwischen Bildern sollte mindestens 70% Überdeckung eingehalten werden und bei Orbits um ein Objekt herum sollten zwischen 2 Fotos nicht mehr als 10 Grad liegen.

Das sind wie gesagt Faustregeln – jedes Objekt braucht eine individuelle Betrachtung.

Wetter und Licht

Schatten ebenso wie grelles Licht stören. Der beste Tage für Photogrammetrie draussen ist ein windstiller, bedeckter Tag mit weichem, diffusem Licht, das keine Schatten wirft.

Wind

Windstille ist wichtig, weil die Geometrie der zu erfassenden Szene während des Fotografierens stabil sein muß:

Sich im Wind neigende Äste oder Büsche, Laub das herumgeweht wird oder ähnliches ändern die Szene und führen zu schlechten Ergebnissen oder machen Ergebnisse unmöglich.

Was eignet sich?

Photogrammetrie ist mittlerweile ein sehr stabiles Verfahren. Da es aber ein lichtbasiertes Verfahren ist, gibt es Einschränkungen:

Objekte – oder Teile von Objekten – die reflektieren oder durchsichtig sind, eignen sich nicht.

Man kann es versuchen, aber solche Bereiche werden meist unbefriedigend abgebildet.

(Man kann dies natürlich nachher in einer 3D Software nachbearbeiten)

RealityCapture

RealityCapture (oder kurz RC) ist unser Mittel der Wahl wenn es um Photogrammetrie geht.

Im folgenden kommt kein RC Tutorial – wir gehen hier nur einmal schnell die wesentlichen Prozess-Scritte durch.

Wer tiefer eintauchen möchte, der schaut sich den hervorragende Youtube Channel an. Auf Facebook gibt es zusätzlich eine Gruppe mit einer sehr aktiven und hilfsbereiten Community

Zu Anfangt sollte man sich einen Account auf der Homepage von RealityCapture machen. Hier kann man „Credits“ kaufen um beim export der Daten damit zu bezahlen.

Aus Sicht des Benutzers gliedert sich der Prozess mit RC grob in diese Schritte

• Hinzufügen der Fotos
• Alignment
• Generierung des 3D Models
• Texturieren des Models
• Export des Models – z.B. nach Sketchfab

Hinzufügen der Fotos

wenig überraschend beginnt das Projekt mit dem Hinzufügen der Fotos.

Das kann klassisch über einen „öffnen“ Dialog oder per Drag-and-drop in den linken Bildschirmbereich erfolgen.

Alignment

(Alignment->align images)

Der nächste Schritt ist das Alignment. Dabei werden in den Bildern Ähnlichkeiten gesucht und die jeweiligen Positionen ermittelt aus denen die einzelnen Fotos geschossen wurden. Zusätzlich wird eine Punktwolke erstellt, die schon das 3D Objekt erahnen lässt.

Dieser Prozess wird je nach Rechner und anzahl der Fotos einige Minuten dauern.

Auf der linken Seite sieht man 115/115 – das heißt: von den 115 Fotos konnten von RC alle 115 im Raum verortet werden. Auf der rechten Seite sieht man die Punktwolke des Objekts und darüber schwebend die Kamerapositionen.(Im Gegesatz zum obigen Beispiel sind die Kamerapositionen hier recht ungeordnet – aber immer noch gut genug um das gesamte Model abzudecken)

Generierung des 3D Models

(Mesh model -> normal detail)

Als nächstes wird das 3D Model generiert. D.h. wir erhalten eine Geometrie die aus vielen kleinen Dreiecken aufgebaut ist.

Dieser Schritt dauert deutlich länger als das Alignment. Bei großen Modellen (tausende von hochauflösenden Fotos) dauert dieser Prozess schell Stunden bis Tage.

In unserem Beispiel mit nur 115 Fotos werden es wieder wenige Minuten sein.

jetzt kann man schon die fertige Struktur erkennen. Die Geometrie ist fertig konstruiert.

Texturieren des Models

(mesh model -> texture)

Nun muß das Model noch seine Farben bekommen.

Export des Models – z.B. nach Sketchfab

Das Model ist fertig – jetzt soll es natürlich auch gezeigt werden.

RC bietet verschiedene Möglichkeiten und Formate um das fertige 3D Model zu exportieren.

Eine sehr komfortable Möglichkeit ist, das Model direkt aus RC nach Sketchfab hochzuladen.

Dazu muß einmalig der eigene Sketchfab Account mit RC verbunden werden.

Außerdem fallen bei diesem Schritt nun Kosten an: RC überprüft welche Bilder verwendet wurden und errechnet auf dieser Basis den Lizenzpreis.

Wer sich wie oben beschrieben Credits gekauft hat, dem werden die Kosten einfach von seinen Credits abgezogen und das Model anschließend auf Sketchfab hochgeladen.

(Für dieses Beispiel belaufen sich die Kosten auf 115 Fotos á 12 Megapixel: 354 credits oder 0,86$)

Und so sieht das ganze dann auf Sketchfab aus:

Fazit

Mit einer einfachen Kamera, einem alten Gaming-PC, RealityCapture und Sketchfab kann eine Schulklasse in kurzer Zeit und mit geringen Kosten kluturelles Erbe digitalisieren.

Es kann sich hierbei um ganz unterschiedliche Objekte handeln – wer Inspiration sucht, kann sich auf unserem Sketchfab Account umschauen:

https://sketchfab.com/3dtwins/collections

Als weitere Schritte – und vielleicht in Oberstufenklassen – ist denkbar diese 3D Modelle dann in Blender oder der Unreal Engine zu nutzen. So können Renderings, Filme oder VR Experiences mit real existierende Objekten geschaffen werden.