Wie werden aus 3D-Daten verwertbare Informationen? – Objekterkennung und Objekttracking

Die Grundlage für die Umsetzung LiDAR-basierter Anwendungen ist die Extraktion von Informationen aus den 3D-Daten. Diese Informationen beginnen in den meisten Fällen mit der Detektion und dem Tracken von Objekten. Wie funktioniert das?
Wie werden aus 3D-Daten verwertbare Informationen? – Objekterkennung und Objekttracking

LiDAR-Daten werden in so genannten Punktwolken dargestellt. Diese Darstellung fasziniert: Sie ist ein exaktes Abbild der vom Sensor erfassten Umgebung in 3D. Durch den dreidimensionalen Charakter können verschiedenste Blickwinkel eingenommen werden, die Szene aus verschiedenen Perspektiven beleuchtet werden.

Anwendende setzen LiDAR-Sensoren aber nicht ein, weil sie schöne Bilder mögen. Die Daten liefern eine Fülle an Informationen, die zahlreiche Anwendungen von Crowd-Analytics über Volumenvermessung bis zu Sicherheitsanwendungen ermöglichen. In der hübschen Punktwolke sehen Menschen die benötigten Informationen nicht auf den ersten Blick, Algorithmen können sie aber sehr gut interpretieren.

Wie dabei Objekte erkannt und getrackt werden, beleuchtet Teil eins dieser Artikel-Reihe.

Blickfeld Percept ermöglicht Objekterkennung und viele weitere Features.

w

Blickfeld Percept

Um im Allgemeinen mit LiDAR-Rohdaten arbeiten zu können, müssen sich Anwendende im Umgang mit 3D-Daten auskennen. Da dieses Know-how häufig nicht im Unternehmen vorhanden ist, haben wir bei Blickfeld ein Software-Produkt entwickelt, das aus den vom LiDAR generierten Daten verwertbare Informationen zieht. So lassen sich mit Blickfeld Percept Anwendungen aus den Bereichen Crowd Analytics, Sicherheit oder Volumenmessung schnell und unkompliziert umsetzen.

w

Laufwege erfassen dank Objekterkennung und Tracking

Stellen Sie sich einen Marktplatz vor, auf dem ein Stadtfest stattfindet. Es sind verschiedene Stände aufgebaut, aus denen Produkte, Essen und Getränke verkauft werden. Die Veranstaltenden möchten gerne analysieren, wie sich die Besucher auf dem Platz bewegen. So wird ausgewertet, welche Positionen für die Verkaufsstände gut gewählt sind und welche Angebote besonders beliebt sind. Diese Insights helfen zum einen den Budenbetreibenden, indem sie zum Beispiel aufzeigen, wie ihr Auftreten angenommen wird, oder ob sie dieses optimieren sollten. Zum anderen geben sie den Veranstaltenden Aufschluss darüber, welche Standflächen je nach Auslastung wie bepreist werden sollten.

Hintergrund von Vordergrund unterscheiden, um Datenübertragung zu reduzieren

Um die Bewegungen der Besucher auf dem Fest zu erfassen, werden zunächst die Menschen in der Punktwolke identifiziert. Da diese aus der gesamten gescannten Umgebung in 3D-Punkten besteht, werden zunächst Objekte innerhalb der Punktwolke erkannt. Objekte beschreiben hierbei zunächst alles: Die Besucher ebenso wie Fahrzeuge, Bänke, Kinderwägen oder Hunde.

Da in unserem Beispiel die zu detektierenden Objekte Menschen sind, die sich auf dem Marktplatz bewegen, werden in einem ersten Schritt Punkte erkannt, die sich bewegen. Dies ist nicht zwangsläufig nötig, reduziert aber die Menge an zu übertragenden Daten und ist daher häufig von Vorteil. Objekte können aber ganz genauso in komplett statischen Punktwolken erkannt werden.

Die sich bewegenden Punkte innerhalb der Punktwolke werden erfasst, indem zu Beginn des Messzeitraums eine Referenzaufnahme getätigt wird. Alles, was auf dieser Aufnahme zu sehen ist und sich nicht bewegt, wird als Hintergrund definiert. Dieser kann herausgefiltert werden, sodass die zu übertragenden Daten sich drastisch reduzieren. In Innenräumen reicht dieser Vorgang aus, da davon ausgegangen werden kann, dass sich der Hintergrund nicht mehr ändert. Um zukünftige Veränderungen des Hintergrunds zu berücksichtigen (z.B. das Wegfahren eines Marktstandes) wird dieser im Betrieb kontinuierlich identifiziert und aktualisiert – es findet eine dynamische Hintergrund-Subtraktion statt. Dies geschieht, indem Objekte, die sich über einen vordefinierten Zeitraum nicht bewegen, ebenfalls zum Hintergrund gezählt werden.

Welche Punkte gehören zu einem Objekt?

Nachdem durch das Abziehen des Hintergrundes alles aus der Punktwolke entfernt wurde, was bei der Objekterkennung nicht von Interesse ist, bleibt nun der Vordergrund und damit die Objekte übrig. Erkannt werden diese durch das so genannte Clustering oder die Segmentierung. Sich bewegende Punkte in der Punktwolke werden erkannt und es wird der Abstand zwischen mehreren Punkten vermessen. Punkte, die nah beieinander liegen werden zu einem Objekt geclustert. Dieser Vorgang funktioniert genauso in einer statischen Punkwolke, in der sich die Objekte nicht bewegen.

Die Objekte werden mit einer Bounding Box markiert und erscheinen in der Objektliste. Diese Art von Informationen kann einfach weiterverarbeitet und in bereits bestehende Architekturen integriert werden. Indem gewisse Regeln zur Größe und Form der Objekte aufgestellt werden, wird ausgespielt, um welche Art von Objekten es sich handelt, beziehungsweise gleich nur jene Objekte berücksichtigt, die die Vorgaben erfüllen. Sollen, wie in unserem Beispiel, Menschen erfasst werden, werden also nur zylinderförmige Objekte in einem gewissen Höhenspektrum erfasst und als Personen markiert. Auf die gleiche Art funktioniert etwa die Erkennung von Autos durch die Festlegung entsprechender Parameter.

Objekterkennung, in diesem Fall ohne das Abziehen des Hintergrundes

Wie bewegen sich die Objekte?

Um beispielsweise Laufwege von Besuchern zu erfassen, wird das detektierte Objekt nun noch getrackt. Dies geschieht indem aufgrund der bisherigen Laufbahn des Objekts und Wahrscheinlichkeitsmodellen antizipiert wird, an welcher Stelle sich das Objekt in der nächsten Aufnahme, bzw. Frame, befinden muss. Läuft eine Person also beispielsweise von links nach rechts mit einer Geschwindigkeit von einem Meter pro Sekunde, wird antizipiert, dass sie mit der gleichen Geschwindigkeit in die bereits eingeschlagene Richtung weiterläuft und sie wird im nächsten Frame an der entsprechenden Stelle verortet. Die im nächsten Frame detektierten Objekte werden dann entsprechend der Vorhersage der Bewegung den Objekten zugeordnet – und somit getrackt.

Tracken der Laufwege von Besuchern

Grafische Darstellung in einer Heatmap

Indem Laufwege der Besucher erfasst werden, kann die Auslastung an einzelnen Ständen analysiert und eine so genannte Heatmap erstellt werden. Sie zeigt an, welche Orte von der größten Zahl an Besuchern aufgesucht wurden, welche also dementsprechend beliebt waren. Diese Information können die Veranstaltenden beim nächsten Event für die Stellplatzvergabe berücksichtigen.

w

Heatmaps sind beispielsweise auch besonders aufschlussreich im Messebereich: Indem LiDAR-Sensoren Besucher auf einem Messestand erfassen und ihre Laufwege aufzeichnen, kann klar erkannt werden, welche Exponate von besonderem Interesse für die Besucher waren – und welche vielleicht gar nicht. Diese Informationen können noch während der Veranstaltung zu Veränderungen in der Personalverteilung oder auch in der Standgestaltung führen und auf jeden Fall in darauffolgende Standplanungen einfließen.

w

Beispiel einer Heatmap

Grundlage für weitere Insights

Erkennung und Tracking von Objekten sind die Grundlagen für weitere Auswertungsformen, die Anwendungen wie Personenzählung, Belegungserkennung oder Bereichseintritte ermöglichen. Wie diese Algorithmen funktionieren, welche Anwendungsbeispiele sich damit umsetzen lassen und warum LiDAR die Schüttgut-Industrie umkrempeln kann, lesen Sie im zweiten Teil dieser Artikel-Reihe.

Wie werden aus 3D-Daten verwertbare Informationen? – Objekterkennung und Objekttracking

Keine Neuigkeiten mehr verpassen!

Abonnieren Sie unseren Newsletter für Updates aus der Blickfeld-Welt.

Das könnte außerdem interessant sein

Rolf Wojtech
Die Software hinter der Technologie
Was passiert nachdem ein LiDAR-Sensor Umgebungsdaten gesammelt hat? Wie werden aus Punktwolken Informationen generiert, mit denen Anwendungen wie die Steuerung von Menschenmassen umgesetzt werden?
Rolf Wojtech
Die Software hinter der Technologie
LiDAR-Sensoren erzeugen hochgenaue Punktwolken und liefern damit die Basis für viele Anwendungen. Die Verarbeitung und Speicherung dieser Datenmengen ist jedoch eine Herausforderung. Wir erklären, wie man dieser gerecht wird und wie die On-Device Bewegungserkennung von Blickfeld dabei unterstützen.
Rolf Wojtech
Die Software hinter der Technologie
Chief Software Architect Rolf Wojtech stellt die Software-Lösung Blickfeld Percept vor

Kommende Events

Sensors Converge

27.06.2022
- 29.06.2022
San Jose

Security Expo

29.06.2022
- 30.06.2022
München

Webinar: How to use LiDAR technology for crowd analytics and management

07.07.2022
- 07.07.2022
Online