Fahrzeuginnenraumerfassung

Das Fraunhofer IOSB erforscht im Projekt den sicheren Umgang mit Sensordaten für typische Anwendungsfälle des Autonomen Fahrens. Das erfasst unter anderem die Untersuchung der Anforderungen und Möglichkeiten zur Anonymisierung. Ebenfalls in den Fokus genommen werden die Speicherung, Weitergabe und Verwertung von Daten mit Personenbezug, welche bei der Erfassung der Insassenzustände und Situation im Fahrzeuginnenraum erforderlich sind. Gemeinsam mit Projektpartnern wurden Anwendungsfälle für das autonome Fahren mit begleitenden Risiken analysiert und grundlegende Methoden zur Aufnahme, Anonymisierung, Übertragung sowie Speicherung von Mobilitätsdaten ausgewählt und auf Bedarfe adaptiert.

Auf Basis einer vorangegangenen Analyse, die Sicherheitsanforderungen, Privacy- und Qualitätskriterien umfasste, wurde seitens des Fraunhofer IOSB ein Methodenbaukasten konzipiert, exemplarisch implementiert und validiert. Dieser ist dazu geeignet, auch anonymisierte Daten für das Training von ML-Modellen zu handeln.

Das Lösungskonzept basiert auf vier Schichten der Datenverarbeitung im Fahrzeuginnenraum:

1. Sichere Systemarchitektur zur nachhaltigen und sparsamen Erfassung der Innenraumdaten
2. Online-Verarbeitung zur schnellen und leichtgewichtigen Anonymisierung aufgezeichneter Innenraumdaten in Echtzeit
3. Serverseitige Verarbeitung der Innenraumdaten mit rechenintensiven Anonymisierungsmethoden
4. Serverseitige Exportfunktion anonymisierter Daten mittels eines Privacy Brokers zur kontrollierten, sicheren und vertrauenswürdigen Weitergabe anonymisierter Daten an Dritte

Der Schwerpunkt bei anschließenden Tests und dem Aufbau von Demonstratoren lag auf einer sicheren und vertrauenswürdigen Fahrzeuginnenraumerfassung mit Online- & Offline-Anonymisierungsmethoden. Dabei wurde großer Wert auch darauf gelegt, eine leichte Anpassbarkeit der Lösungen auf weitere Mobilitätsanwendungen (z. B. die (Mit-)Erfassung der Fahrzeugumgebung) zu gewährleisten.

Für weitere Tests und die Validierung erarbeiteter Lösungen wurden drei Setups mit diverser Hard- und Software aufgebaut:

1. Echtzeit-Gesichtsmaskierung Bei diesem Test wurden mobile iOS-Geräte (iPhone, iPad) mit Apple VisionKit als Hardwarebeispiel mit eingeschränkter Rechenleistung eingesetzt zur Echtzeit-Anonymisierung von Videodaten mit Gesichtsmaskierung bei automatischer Regionsklassifikation.

2. Echtzeit-Videosegmentierung sowie Anonymisierung durch Gesichts-Blurring In diesem Test wurde die Echtzeit-Anonymisierung von Videodaten durch das Blurring des Gesichtes erzielt. Hierzu wurde eine automatische Klassifikation durch das vortrainierte Model YOLO8 auf einem Laptop mit Intel-Grafik eingesetzt.

3. Echtzeit-Videosegmentierung und Klassifikation von Personen und Objekten Für diesen Test wurde für die Klassifikation von Personen und Objekten in Videoaufnahmen das Nvidia Jetson AGX Xavier Developer Kit genutzt zur Echtzeit-Segmentierung, Objekterkennung und fortgeschrittenen Anonymisierung der Videodaten auf Embedded Hardware. Dafür wurde das vortrainierte Model YOLO5 eingesetzt.

Mehrere Setups wurden auch benutzt, um die Übertragbarkeit und Erweiterbarkeit erarbeiteter Konzeptlösungen zu validieren. Alle Experimentalaufbauten sind im Fahrzeuginnenraum benutzbar und werden auch dort getestet. Es ist davon auszugehen, dass die Nvidia Jetson-basierte Lösung besonders gut zum Skalieren geeignet ist, da viele moderne Server für KI auf Nvidia-Modulen basieren

Die Sicherheit der Daten gewährleistet ein vom Fraunhofer IOSB prototypisch implementiertes TPM-basiertes Attestierungsprotokoll (TPM = Trusted Platform Module) für das in ROS2 eingesetzte Kommunikationsprotokoll DDS (Data Distribution Service).

Zukünftige Forschungen werden sich einerseits zunehmend der Erweiterung erarbeiteter Lösungen auf andere Anwendungsfälle der Mobilität widmen (z. B. Daten von Flugdrohnen, Fahrzeugumgebung). Andererseits wird an der Weiterentwicklung und Verfeinerung der Algorithmen gearbeitet, um nicht nur einen effizienteren und sichereren Schutz personenbezogener Daten in Mobilitätsanwendungen zu erreichen, sondern auch um eine gesetzeskonforme Verwendung und Verwertung (z. B. für Training von ML-Modellen) dieser Daten zu erzielen.