Instanzsegmentierung auf 3D-Punktwolken: einzelne Objekte aus Szenen mit bis zu zehn Millionen Punkten

Photogrammetrische Punktwolken aus Drohnenbefliegungen sind in Bau und Planung längst Routine. Was fehlt, ist der Schritt von der Punktwolke zur zählbaren Information.

Die verfügbaren Verfahren waren zum Projektzeitpunkt überwiegend auf die Klassifikation einzelner, kleiner Punktwolken beschränkt – ein Objekt, ein Scan. Für die Anwendung in Bau und Planung wird aber die ganze Szene gebraucht: eine Baustelle, ein Straßenzug, ein Areal, mit Dutzenden Millionen Punkten und vielen Objekten derselben Klasse.

Photogrammetrische Punktwolken aus städtischen und semi-urbanen Umgebungen, häufig Baustellen, erfasst über Drohnenbefliegungen des Partners FairFleet. Einzelne Scans enthalten bis zu zehn Millionen Punkte.

Der Unterschied zwischen Klassifikation und Instanzsegmentierung. Ein Modell, das jeden Punkt als Fahrzeug markiert, sagt nicht, wie viele Fahrzeuge dort stehen. Für Zählung, Lokalisierung und Weiterverarbeitung ist genau das aber die gesuchte Information – und sie erfordert, dass Objekte gleicher Klasse voneinander getrennt werden.

Skalierung als eigentliches Problem. Zehn Millionen Punkte lassen sich nicht in einem Durchgang verarbeiten. Der Ansatz muss die Szene zerlegen und die Teilergebnisse wieder zusammenführen, ohne dass an den Schnittstellen Objekte doppelt gezählt oder auseinandergerissen werden.

Unüberwachtes Clustering und überwachtes Training kombiniert. Das unüberwachte Verfahren nutzt die räumliche Struktur der Daten selbst, um zusammenhängende Objekte zu bilden; das trainierte Netz liefert die Klassenzuordnung. Die Kombination ist der Kern des Ansatzes: Die Klasse muss gelernt werden, die Objektgrenze steckt in der Geometrie – beides mit einem Verfahren zu erzwingen, wäre aufwendiger und schlechter prüfbar.

Auf Skalierbarkeit ausgelegt statt auf einen Datensatz optimiert. Der Ansatz war von Beginn an für große Szenen gedacht, nicht für einzelne Objekte. Das ist der Grund, warum er auf neue Befliegungen anwendbar bleibt.

Für einzelne Objektklassen wurden Genauigkeiten von bis zu 93 % erreicht. Die Ausgabe ist eine Instanzsegmentierung: Punkte sind nicht nur klassifiziert, sondern je Klasse in einzelne Instanzen getrennt. Damit sind automatisches Zählen und Lokalisieren von Objekten möglich.

Die Ergebnisse lassen sich in Geodatenbanken, Kartenlayer und AutoCAD-Modelle übernehmen – also in die Werkzeuge, in denen Bau und Planung ohnehin arbeiten.

Bestandserfassung städtischer Infrastruktur · Eignungsanalyse für Solaranlagen · Baustellenmonitoring · Erstellung von 3D-Modellen

Instanzsegmentierung auf großen Punktwolken ist die Grundlage für alles, was gezählt, vermessen oder über die Zeit verfolgt werden soll. Wir haben dasselbe Prinzip – erst klassifizieren, dann trennen, dann attribuieren – in der automatisierten Waldinventur auf Bäume angewandt und in den Autobahnscans auf Verkehrsinfrastruktur. Solche Vorhaben setzen wir heute gemeinsam mit unserem Schwesterunternehmen Pointly als Technologiepartner um.

Der Ansatz war seiner Zeit voraus, und die Werkzeuge sind nachgezogen. Für Instanzsegmentierung auf Punktwolken existieren heute Verfahren, die Klassenzuordnung und Objekttrennung in einem Modell lösen, sowie promptbare Modelle, die Objekte ohne klassenspezifisches Training isolieren. Bei den Architekturen sind Transformer-basierte Punktwolkenmodelle und Sparse-Convolution-Verfahren an die Stelle der älteren Netze getreten. Bei der Skalierung hat sich am meisten geändert: Mit Cloud-Optimized Point Cloud und PDAL lassen sich Teilbereiche einer Szene laden und auswerten, ohne den gesamten Scan zu öffnen – die Zerlegung, die damals eigens gebaut werden musste, ist heute Eigenschaft des Datenformats. Was gleich geblieben ist: Die Objektgrenze steckt in der Geometrie und nicht im Label. Ein Verfahren, das die Trennung allein dem Netz überlässt, braucht deutlich mehr Trainingsdaten für dasselbe Ergebnis.