AR-HUD – Technologie für einen Dialog ohne Worte

• Optisches System aus zwei Bilderzeugungseinheiten mit unterschiedlichen Wiedergabeverfahren ergänzen sich im AR-HUD
• Anspruchsvolles Verfahren zur Grafikerzeugung im neuen AR-Creator
• Informationen des eHorizon Basis für zukünftige Fahrerinformation

Babenhausen, 21. Juli 2014. Um eine neue Form des Dialogs zwischen Fahrzeug und Fahrer zu ermöglichen, entwickelt der internationale Automobilzulieferer Continental das Augmented Reality Head-up-Display (AR-HUD). Bei diesem Anzeigesystem wird die Realität der Verkehrssituation, wie der Fahrer sie sieht, ergänzt (= augmentiert): Passgenau über die Außenansicht mittels optischer Projektion gelegte grafische Hinweise betten Informationen direkt in das Verkehrsgeschehen ein. Damit ist das AR-HUD derzeit die wohl innovativste Weiterentwicklung der Mensch-Maschine-Schnittstelle im Fahrzeug (Human Machine Interface, HMI).

Für Continental reiht sich diese Innovation in eine lange Geschichte ein: „Seit über 110 Jahren sorgen wir für die bestmögliche Fahrerinformation. Ausgehend vom Tachometer haben wir uns zu einem der führenden Entwickler von Anzeige- und Bedienlösungen für unterschiedlichste Fahrzeuge entwickelt“, so Eelco Spoelder, Leiter des Continental Geschäftsbereichs Instrumentation & Driver HMI. „Die HUD-Technologie ist heute das, was 1902 der Wirbelstromtacho war, nämlich eine elementare Hilfe für den Fahrer. Für das AR-HUD gilt das in besonderem Maße.“

„Das optische System  AR-HUD ermöglicht,  dem Fahrer im direktem Sichtfeld augmentiert anzuzeigen, welchen Status die Fahrerassistenzsysteme haben und welche Bedeutung diese Information hat“, so Dr. Pablo Richter, Experte für HUD-Technologie bei der Continental Division Interior. „Dazu wird das AR-HUD als neuer Teil der Mensch-Maschine-Schnittstelle bereits im heutigen Vorserienstand eng mit der Umgebungssensorik von Fahrerassistenzsystemen sowie GPS-Daten, Kartenmaterial und Fahrdynamikdaten vernetzt.“

In einem Demonstrationsfahrzeug hat Continental diese neue Technologie auf einem fortgeschrittenen Vorentwicklungsstand erstmals beispielhaft umgesetzt. Im gewählten Fahrzeug sind Radarsensoren hinter dem vorderen Stoßfänger und eine CMOS Monokamera am Rückspiegelfuß integriert. Zu den für das AR-HUD als anwendungsrelevant ausgewählten Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) gehört neben der Spurverlassenswarnung (Lane Departure Warning, LDW), der adaptive Tempomat (Adaptive Cruise Control, ACC) sowie die Routenhinweise des Navigationssystem.

„Die Hauptrolle im AR-HUD spielt natürlich die Augmentierungsebene. In einem Projektionsabstand von 7,5 m vor dem Fahrer sorgt sie für die augmentierte Darstellung von Anzeigesymbolen direkt auf der Straße. Der Inhalt wird an aktuelle Verkehrsgeschehen angepasst“, so Richter. Inhalte dieser fernliegenden Ebene werden mittels einer erstmals von Continental auf der IAA 2013 präsentierten neuen bildgebenden Einheit erzeugt. Wie bei digitalen Kino-Projektoren werden die grafischen Elemente mit einem Digital Micromirror Device (DMD) erzeugt. Den Kern der PGU bildet ein optischer Halbleiter mit einer Matrix aus mehreren Hunderttausend winzigen Spiegeln, die sich mit Hilfe elektrostatischer Felder einzeln kippen lassen. Die Mikrospiegelmatrix wird von drei farbigen LEDs (Rot, Blau und Grün) zeitsequentiell in schneller Folge abwechselnd beleuchtet. Die Kollimation (Parallelrichtung) des dreifarbigen Lichtes erfolgt dabei durch Umlenkspiegel mit Farbfilterfunktion (sogenannte dichroitische Spiegel). Diese besonderen Spiegel lassen das Licht je nach Farbe entweder passieren oder reflektieren es. Zeitsynchron zu der gerade beleuchtenden Farbe werden alle Mikrospiegel dieser Farbe so gekippt, dass sie das einfallende Licht durch ein Objektiv reflektieren und so als einzelne Bildpunkte dieser Farbe auf einer nachfolgenden Mattscheibe abbilden. Dies geschieht zeitsynchron für alle drei Farben. Das menschliche Auge „mittelt“ über alle drei Farbbilder auf der Mattscheibe und erhält den Eindruck eines vollfarbigen Bildes.

Von der Vorderseite der Mattscheibe aus betrachtet, entspricht der anschließende Strahlengang dem eines herkömmlichen HUD: Über einen ersten Spiegel (Faltspiegel) wird das Bild von der Mattscheibe auf den zweiten größeren Spiegel (AR-HUD Spiegel) reflektiert. Von dort erfolgt die Einspiegelung in die Frontscheibe. Die Austrittsfläche des optischen Systems für die Augmentierung hat nahezu DIN A4 Größe. Damit entsteht in der Augmentierungsebene ein Sichtfeld der Größe 10° x 4,8°, was geometrisch etwa einer Breite der augmentierbaren Sichtfläche von 130 Zentimetern und einer Höhe von 63 Zentimetern im direkten Sichtfeld entspricht. Informationen in dieser Fernebene können durch ein leichtes Absenken des Blickes des Fahrers um 2,4° abgelesen werden. Die bildgebenden Einheiten beider Ebenen, die der Status- und die der Augmentierungsebene, ermöglichen eine Darstellung mit einer an die Umgebungshelligkeit angepassten Leuchtdichte von über 10.000 Candela pro Quadratmeter. So ist die Anzeige unter nahezu allen Umgebungslichtbedingungen gut ablesbar.

Zahlreiche Simulationen und Continental Probandenversuche zeigten, dass es Fahrer als angenehm empfinden, wenn die Augmentierung etwa 18 bis 20 m vor dem Fahrzeug beginnt und sich je nach Streckenverlauf bis in etwa 100 m Entfernung fortsetzt. Peter Giegerich, zuständig für die Entwicklung des AR-Creators, erklärt, wie diese grafischen Hinweise erzeugt und richtig platziert werden: „Der AR-Creator ist eine ausgesprochen anspruchsvolle Neuentwicklung. Das Steuergerät muss zahlreiche Sensordatenströme auswerten, um die grafischen Elemente exakt dort auf der Mattscheibe zu platzieren, von wo sie passgenau in das AR-HUD Sichtfeld des Fahrers eingespiegelt werden können. Da ist einiges an Rechenkunst erforderlich.“

Der AR-Creator übernimmt eine Datenfusion aus drei Quellen: Die Geometrie des Straßenverlaufs stellt die Monokamera zur Verfügung. Dazu gehören die sogenannten Klothoiden, mathematische Beschreibungen für den Krümmungsverlauf der Fahrspur vor dem Fahrzeug. Größe, Lage und Entfernung von erkennbaren Objekten vor dem Fahrzeug stammen aus einer Kombination von Radarsensordaten und Interpretation der Kameradaten. Der eHorizon von Continental liefert schließlich den Kartenrahmen, in dem die vor Ort sensierten Daten hineininterpretiert werden. Im Demonstratorfahrzeug ist dieser eHorizon noch statisch und verwendet ausschließlich Datenmaterial der Navigation. Continental arbeitet bereits an der Serienreife von vernetzten und damit hochdynamischen eHorizon-Angeboten. So können dann auch Daten von unterschiedlichsten Quellen (Vehicle-2-Vehicle, V2V-Kommunikation, Verkehrsleitzentralen etc.) für die Darstellung im AR-HUD aufbereitet werden. Die Positionierung des Fahrzeugs auf einer digitalen Karte erfolgt mit Hilfe der Fusion von Fahrdynamik-, Kamera- und GPS-Daten.

Aus den fusionierten Daten errechnet der AR-Creator, wie der geometrische Straßenverlauf vor dem Fahrzeug aus der Position des Fahrers aussieht. Das ist möglich, weil die Augenposition des Fahrers bekannt ist: Im Demonstratorfahrzeug stellt der Fahrer vor Fahrtantritt einmalig die Lage der sogenannte Eye Box für sich richtig ein. Für die Serie lässt sich dieser Vorgang mit einer Innenraumkamera automatisieren. Sie erkennt die Augenlage des Fahrers und kann die Positionierung der Eye Box nachführen. Der Begriff Eye Box bezeichnet einen quaderförmigen Bereich, dessen Höhe und Breite einem theoretischen „Sichtfenster“ entspricht. Nur solange der Fahrer durch dieses Fenster auf die Straße blickt, erfasst er das komplette AR-HUD-Bild. Die Fahrzeugpassagiere sehen den dargestellten Inhalt von HUD und AR-HUD nicht.

Viel Entwicklungsarbeit floss laut HMI-Entwickler Stephan Cieler in die Gestaltung der virtuellen Hinweise. „Nach zahlreichen Designstudien und Probandenversuchen lautet unsere Devise auch beim AR-HUD: Weniger ist mehr.“ So wurde die anfängliche Idee, einen transparenten Farbteppich über die Fahrspur zu legen, bald verworfen. „Wir wollen dem Fahrer nur das notwendige Minimum an grafischen Hinweisen geben, um die reale Verkehrsansicht nicht zu überdecken.“

Winkelförmge Pfeilspitzen als Navigationshilfe beispielsweise bieten die Möglichkeit, sie wahlweise flach auf die Fahrbahn zu „legen“ und bei einem Richtungswechsel aufrecht in die neue Fahrrichtung zu drehen, so dass sie wie ein Hinweisschild wirken. Mit dieser Gestaltung lassen sich auch in engen Kurvenradien virtuelle Hinweise geben, obwohl eine echte Augmentierung in dieser Situation wegen der fehlenden perspektivischen Sehweite nicht möglich ist.

Dezent umgesetzt ist auch die Warnung beim Überfahren einer Fahrbahnbegrenzung. So werden die Fahrbahnbegrenzungen nur dann vom AR-HUD des Demonstrationsfahrzeugs hervorgehoben, wenn der Fahrer diese aller Vorrausicht nach unbeabsichtigt überfährt.

Erhält ein zukünftiger eHorizon Informationen über einen Unfall voraus, kann ein Gefahrensymbol mit entsprechend hohem Aufmerksamkeitswert frühzeitig in das Blickfeld des Fahrers platziert werden. „Wenn diese neue Form der Interaktion mit dem Fahrer einmal installiert ist, dann bieten sich im HMI viele Möglichkeiten, um den Fahrer situationsbezogen und vorausschauend zu informieren. Fahrzeug und Fahrer reden dann miteinander, auch wenn dieser Dialog ohne Worte abläuft“, so Richter.