Autonom fahrende Autos müssen umsichtig und hellhörig werden
Wer ein Fahrzeug führt, muss das Verkehrsgeschehen rundherum jederzeit aufmerksam verfolgen. Grundlegend dafür ist nicht nur der Blick auf die Straße voraus, in die Rückspiegel und über die Schulter. Auch das Hören ist Teil der erforderlichen Aufmerksamkeit am Steuer. Das gilt nicht nur für Menschen, sondern auch, wenn der Computer die Fahrzeugführung übernimmt. Autonom gesteuerte Fahrzeuge müssen also nicht nur mindestens so gut sehen wie ein Mensch, sondern auch beim Hören ebenbürtig werden. Fraunhofer-Forscher*innen entwickeln und erproben akustischen Sensor- und Analysetechnologien dafür.
»Alle übrigen Verkehrsteilnehmer haben sofort freie Bahn zu schaffen«. So lautet die Anordnung im Paragraph 38 der Straßenverkehrsordnung, wenn Feuerwehr, Notarzt oder Polizei auf dem Weg zu einem Einsatz sind. Dass dabei höchste Eile geboten ist, signalisieren die Fahrerinnen der Einsatzfahrzeuge mit dem parallelen Einschalten von Blaulicht und Martinshorn. Sitzen bei allen anderen Fahrzeugen auf der Einsatzstrecke ebenfalls Menschen am Steuer ihrer Fahrzeuge, funktioniert diese akustisch-optische Doppelwarnung in den allermeisten Verkehrssituationen problemlos. In der Regel hört der oder die Fahrerin das sich nähernde Einsatzfahrzeug bereits, bevor er oder sie es sehen kann. Durch die Vorwarnung gewinnt er oder sie so Zeit, um das Verkehrsgeschehen rund um das Fahrzeug zu »lesen« und entsprechend zu reagieren.
Was aber, wenn statt eines Menschen künftig ein autonom agierendes Steuerungssystem das Fahrzeug führt? Soweit es die optische Umfelderfassung betrifft, sind die aktuellen Fahrzeuggenerationen bereits gut ausgestattet. Kameras, Radarsysteme und Analysealgorithmen sind serienmäßig mit an Bord und gewährleisten verschiedensten Assistenzsystemen schon heute ein zuverlässiges Erfassen und Bewerten der Verkehrssituation rund um das Fahrzeug. Einen Hörsinn besitzen Fahrzeuge dagegen nicht – zumindest bis dato. »Wir werden Autos auch hörfähig machen. Das ist das Ziel unserer Forschungsaktivitäten«, betont Danilo Hollosi, Leiter der Forschungsgruppe »Akustische Ereignisdetektion« des Fraunhofer-Instituts für Digitale Medientechnologien IDMT. Denn damit autonome Fahrsysteme ein Auto mindestens ebenso zuverlässig und sicher führen können wie ein Mensch, sei zwingend erforderlich, dass sie auch Warntönen wie beispielsweise die des Martinshorns hören und »verstehen« können. Am Institutsteil Hör-, Sprach- und Audiotechnologie in Oldenburg erarbeiten und erproben Hollosi und sein Team deshalb in enger Zusammenarbeit mit Automobilherstellern und Zulieferern die nötige Sensor- und Analysetechnologien für das »hörende Auto«.
Ohren mit Martinshornerkennung
Ein Mikrofon oder mehrere davon in die Außenhaut eines Fahrzeugs zu platzieren ist an sich eine leicht zu lösende Aufgabe. Die Luftschallaufnahme, die sie bei Fahrgeschwindigkeiten von 100 km/h und mehr liefern würden, wäre allerdings kaum verwertbar. »Stecken Sie als Beifahrerin einfach mal den Kopf während einer Autobahnfahrt aus dem Fenster: Außer dem Extremrauschen des Fahrtwindes würden Ihre Ohren ebenso wenig akustische Signale erkennen wie ein Mikrofon«, erklärt Hollosi. Die Forscherinnen am Fraunhofer IDMT entwickelten und testeten daher speziell für den Einsatz an Fahrzeugen geeignete Methoden zur Einhausung und Abschirmung von Luftschallsensoren. Doch trotz dieser schützenden Einhausung sind die verbleibenden Windgeräusche in den Aufnahmen immer noch beträchtlich. Außer den Mikrofonen selbst hat das Forscher*innenteam daher zusätzlich auch Elektronik- und Softwarekomponenten zur Analyse der Audioaufnahmen in die Sensoreinheit integriert. Darauf installierten sie zum Beispiel spezielle, softwaregesteuerte Filter, die Störgeräusche im Audiodatenstrom erkennen und den Wind »aussieben«. Ein zusätzlicher Algorithmus, der auf die Detektion von Warnsignalen spezialisiert ist, kann aus dem gefilterten Audiostrom hochzuverlässig und in Echtzeit das Martinshorn eines Einsatzfahrzeuges heraushören und die Steuerungssysteme des Fahrzeugs über sein »Hörergebnis« informieren.
Die Akustikwahrnehmung: Hören ohne Lauschen
Das mit einem solchen Mikrofon-Setup ausgestattete Fahrzeug kann also das Martinshorn nun hören. Aber nicht nur das – und hier haben die Forscherinnen das nächste Problem. Denn ihr System funktioniert so selbstverständlich, dass es während einer langsameren Fahrt durch eine belebte Straße oder einem Stopp an einer Ampel zum Beispiel auch die Gespräche von Passanten rund um das Fahrzeug heraushören würde. Das aber wäre weder mit dem Selbstverständnis des Fraunhofer IDMT noch mit dem Datenschutz zu vereinbaren. »Wir mussten also eine Lösung finden, die das Hören ermöglicht, aber ein mögliches Lauschen nachweislich unterbindet«, erklärt Hollosi. Auch hierfür setzen die Forscherinnen auf die Vor-Ort-Aufbereitung des Datenstroms unmittelbar am Mikrofonsystem. Noch bevor die Audiosignale für weitere Analysen verarbeitet beziehungsweise zwischengespeichert werden, durchläuft der Datenstrom einen Privacy-Prefilter. Dessen Analysealgorithmen sind darauf trainiert, Sprachanteile im Audiostrom zu finden und zu blockieren. Das Privacy-System ist dabei so konzipiert, dass es sämtliche Sprachanteile sofort und unumkehrbar aus dem Datenstrom löscht. Darüber hinaus werden die Audiodaten nicht dauerhaft gespeichert, sondern lediglich die für die jeweilige Aufgabe notwendigen Metadaten, die sich aus der Analyse ergeben – und auch das nur für die dafür notwendige Zeit.
Das Potenzial des »hörenden Autos«: weit mehr als Martinshorn
Mit dem »Gehör fürs Auto« will das Team vom Fraunhofer IDMT aber nicht nur erreichen, dass autonome Fahrsysteme die Warnsignale von Einsatzfahrzeugen oder das Hupen eines anderen Verkehrsteilnehmers wahrnehmen können. »Audioanalysen in und um das Fahrzeug können noch weit mehr Unterstützung bieten und so mehr Sicherheit und Zuverlässigkeit im Straßenverkehr beim autonomen Fahren wie auch im Allgemeinen gewährleisten«, betont Hollosi. Die akustische Umfelderkennung kann den Assistenzsystemen des Fahrzeugs auch wichtige Zusatzinformationen liefern. Zum Beispiel wenn die Mikrofone ein aus einer Seitenstraße heranfahrendes Fahrzeug bereits hören und die Information an das Bordsystem weitergeben, bevor es das Sichtfeld von Kamera- und Radarsensoren erreicht. Oder wenn beim Einfahren in eine Spielstraße die akustische Szenerie darauf schließen lässt, dass in der Umgebung des Fahrwegs aktuell spielende Kinder und Passanten unterwegs sind. Die Audioauswertung erkennt die aktuelle Situation im umliegenden Straßenraum und informiert die Fahr- und Assistenzsysteme des Autos darüber. Das versetzt die automatisierten Fahrsysteme in die Lage, der Situation entsprechend mit erhöhter Vorsicht zu agieren und damit vergleichbar einem Menschen am Steuer zu handeln, der die spielenden Kinder hört.
Neben der Unterstützung autonomer Fahrsysteme durch die Analyse der Umgebungsgeräusche, soll der »Hörsinn fürs Auto« auch die Sicherheit und den Fahrkomfort des Fahrzeugs selbst erhöhen. Die Forscher*innen nutzen dafür zusätzliche Mikrofone und Vibrationssensoren, die sie an verschiedenen Stellen im und am Fahrzeug positionieren. In den Radkästen angebrachte Mikrofone zum Beispiel erfassen kontinuierlich die Fahrgeräusche der Reifen. Die Analyse der Aufnahmen übernimmt eine Software, die aus dem Audiodatenstrom auf die Beschaffenheit der Straße schließen kann. »Die elektronische Fahrwerksanpassung des Fahrzeugs kann mit diesem Wissen dann zum Beispiel automatisiert die Einstellungen für die Federung oder das Bremssystem entsprechend des Fahrbahnuntergrundes anpassen«, erklärt Hollosi. Durch kontinuierliche Analysen von Geräuschen und Vibrationen von Motor und Fahrwerkskomponenten lassen sich zudem auftretende Abweichungen vom Normalzustand frühzeitig und zuverlässig erkennen. Ein fortschreitender Verschleiß an den Bremsen ließe sich damit ebenso detektieren, wie ein ausgeschlagenes Lager oder ein »unrunder« Motorlauf. »Das hörende Auto ist zu einer umfassenden Eigendiagnose fähig und eröffnet damit ganz neue Möglichkeiten im Bereich Predictive Maintenance«, so Hollosi. Ähnliche Diagnosesysteme hat sein Team bereits für das Monitoring von Maschinen und Anlagen in der Industrie entwickelt. Für den Einsatz im hörenden Auto haben die Forscher*innen die hier bereits bewährten Verfahren und Softwarekomponenten entsprechend adaptiert und angepasst.
Mit rollenden Prototypen zur Einsatzreife
Um die Sensortechnik und die Analysesysteme für das hörende Auto erproben zu können, nutzt das Fraunhofer IDMT am Standort Oldenburg ein eigenes Fahrzeug. Zusätzlich arbeiten die Forscher*innen in Projekten mit einzelnen Fahrzeugherstellern und Zulieferern zusammen. Dabei werden verschiedene Komponenten für das hörende Auto kundenindividuell weiterentwickelt und als rollende Prototypen auf Teststrecke und Straße gebracht. »Die dabei gewonnenen Daten und Erkenntnisse nutzen wir dann wiederum, um unsere Systeme weiter zu verbessern«, so Hollosi. Insbesondere liefern die verschiedenen Tests wichtige Trainingsdaten, um die KI der unterschiedlichen Erkennungsalgorithmen noch zuverlässiger zu machen.
(stw)
Expert*in
Danilo Hollosi
Fraunhofer-Institut für Digitale Medientechnologien IDMT