Event-Kamera-basierte 3D-Erfassung für Mixed Reality
Tiefeneinschätzung mit einer eventbasierten Kamera und einem Beamer.
© Fraunhofer HHI
VIT-Team stellt Paper auf CVPR 2023 vor.
Ein Paper von Forschenden der Abteilung „Vision and Imaging Technologies“ (VIT) des Fraunhofer Heinrich-Hertz-Instituts (HHI) wurde beim CVPR 2023 Workshop for Event-based Vision angenommen. Der weltweit renommierte Workshop behandelt neuartige eventbasierte Kameras und Algorithmen, die im Gegensatz zu herkömmlichen Kameras deutlich energiesparender, lichtempfindlicher und dynamischer sind. Die Arbeit „X-maps: Direct Depth Lookup for Event-based Structured Light Systems” untersucht die Nutzung eventbasierter Kameras, um Latenzzeiten in Mixed-Reality-Umgebungen zu minimieren und die Nutzungserfahrung zu verbessern.
Eventbasierte Kameras nehmen im Gegensatz zu herkömmlichen Kameras keine kompletten Bilder auf, die dann zeit- und energieaufwendig verarbeitet und gespeichert werden müssen. Stattdessen erzeugen sie kontinuierliche Pixelströme mit einer zeitlichen Auflösung im Mikrosekundenbereich. Diese grundlegend andere Art der Signalerzeugung bringt einige Vorteile mit sich: Eventbasierte Kameras besitzen einen hohen Dynamikbereich, und sehr niedrige Latenzen. Aufgrund dieser Eigenschaften eröffnen sie Möglichkeiten, die mit herkömmlichen Kameras (die in den letzten 60 Jahren die wichtigste Sensortechnologie darstellten) undenkbar sind.
Insbesondere durch die geringen Latenzzeiten sind diese neuen Sensoren für die Anwendung in Mixed-Reality-Technologien (XR) interessant, wo bereits minimale Verzögerungen in der Bildverarbeitung die User Experience stark negativ beeinflussen können.
In ihrem Paper untersuchen die Fraunhofer HHI Forschenden die Kombination einer eventbasierten Kamera mit einem Beamer zur Echtzeit-Tiefenschätzung für Spatial-Augmented Reality-Anwendungen (SAR). SAR wird auch als projektionsbasierte Augmented Reality bezeichnet und beschreibt die Überlagerung von virtuellen Inhalten auf die physische Umgebung durch Projektion. Dadurch können immersive, interaktive und eindrucksvolle Erfahrungen in unterschiedlichen Anwendungsgebieten wie Industrie, Kultur oder Gesundheitswesen geschaffen werden. Dabei sind interaktives Feedback und hohe Frame-Raten essentiell.
In den Untersuchungen der Forschenden wird die 3D-Struktur der projizierten Fläche mithilfe der eventbasierten Kamera gemessen. Dabei wird die Projektion automatisch angepasst. Dieser Prozess passiert so schnell, dass für das menschliche Auge nur ein kohärentes Bild ersichtlich ist und keine zeilenweise Erscheinung des Bildes. Daher ist eine Anpassung der Projektion auch bei dynamischen Szenen mit mobilen Elementen möglich. Diese Technik könnte beispielsweise außerhalb der XR bei Nutzung eines Beamers auf einer krummen Projektionsfläche genutzt werden, um die Projektion in Echtzeit auf die Fläche anzupassen. Zusätzlich werden in dem Paper neue Verfahren zur schnellen Verarbeitung der detektierten Gegenstände und Events sowie zur Kalibrierung nichtlinearen Verhaltens vorgestellt.
Wissenschaftliche Ansprechpartner:
Martina Müller
Pressekontakt
Telefon +49 30 31002 242
E-Mail martina.mueller@hhi.fraunhofer.de
Anna Hilsmann
Technischer Kontakt
Telefon +49 30 31002-569
E-Mail: anna.hilsmann@hhi.fraunhofer.de
Originalpublikation:
https://tub-rip.github.io/eventvision2023/papers/2023CVPRW_X-Maps_Direct_Depth_L…
Weitere Informationen:
Media Contact
Alle Nachrichten aus der Kategorie: Informationstechnologie
Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.
Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.
Neueste Beiträge
Sensoren für „Ladezustand“ biologischer Zellen
Ein Team um den Pflanzenbiotechnologen Prof. Dr. Markus Schwarzländer von der Universität Münster und den Biochemiker Prof. Dr. Bruce Morgan von der Universität des Saarlandes hat Biosensoren entwickelt, mit denen…
Organoide, Innovation und Hoffnung
Transformation der Therapie von Bauchspeicheldrüsenkrebs. Bauchspeicheldrüsenkrebs (Pankreaskarzinom) bleibt eine der schwierigsten Krebsarten, die es zu behandeln gilt, was weltweite Bemühungen zur Erforschung neuer therapeutischer Ansätze anspornt. Eine solche bahnbrechende Initiative…
Leuchtende Zellkerne geben Schlüsselgene preis
Bonner Forscher zeigen, wie Gene, die für Krankheiten relevant sind, leichter identifiziert werden können. Die Identifizierung von Genen, die an der Entstehung von Krankheiten beteiligt sind, ist eine der großen…