„Phantome“ tricksen die Autopiloten von Tesla und Mobileye aus

Wir haben es schon oft in Filmhandlungen gesehen: Der Hauptdarsteller glaubt gesehen zu haben, dass jemand auf die Fahrbahn tritt, er reagiert sofort darauf, reißt das Lenkrad herum und endet im Graben. Stellen Sie sich jetzt diese Szene in der Wirklichkeit vor. Diesmal stammt das Trugbild allerdings nicht von einem Lichtstrahl oder vom Gehirn. Stattdessen kommt das Bild von einem Cyberkriminellen, der einige Millisekunden lang ein Bild projiziert, auf das der Autopilot reagiert, weil er dafür programmiert wurde. Forscher der Georgia Tech and Ben-Gurion University of the Negev zeigten auf der RSA Conference 2021 welche Gefahren diese Art von „Phantom-Angriff“ birgt.

Die Idee, einem KI-System gefährliche Bilder zu zeigen, ist nicht neu. Zu den herkömmlichen Methoden zählen die Verwendung von veränderten Bilder, um die künstliche Intelligenz dazu zu zwingen, eine unerwartete Schlussfolgerung zu ziehen. Alle maschinellen Lernalgorithmen haben diese Achillesferse: Wenn man weiß, welche Attribute ausschlaggebend für die Bilderkennung sind – bzw. den Algorithmus recht gut kennt – ist es möglich die Bilder so zu verändern, dass sie den Vorgang der Entscheidungsfindung von der Maschine behindern oder die Maschine dazu bringen, eine Fehlentscheidung zu treffen.

Die Neuheit des Ansatzes, der auf der RSA Conference 2021 erläutert wurde, besteht darin, dass dem Autopiloten ein unverändertes Bild gezeigt wurde, d. h. die Angreifer müssen den Algorithmus oder die entsprechenden Attribute noch nicht einmal kennen. Die Bilder wurden kurz auf unbewegliche Objekte in straßennähe oder direkt auf die Straße projiziert und erzielten Folgendes:

Auf ähnliche Weise wurde in einem Werbespot auf einer digitalen Reklametafel, die neben der Straße steht, für den Bruchteil einer Sekunde ein Verkehrsschild eingeblendet, mit quasi dem gleichen Ergebnis:

Die Forscher von dieser Studie schlossen daraus, dass Cyberkriminelle aus einer sicheren Entfernung verheerende Schäden mit dieser Methode anrichten können, ohne Beweise am Tatort zu hinterlassen. Es reicht vollkommen aus, wenn die Verbrecher wissen, wie lange das Bild projiziert werden muss, um die künstliche Intelligenz erfolgreich auszutricksen. (Selbstfahrende Autos verfügen über eine Auslöseschwelle, um das Auslösen von Fehlalarmen durch beispielsweise Schmutz auf dem Objektiv der Kamera oder auf dem LiDAR zu verhindern.)

Bis ein Auto beim Bremsen zum Stillstand kommt, werden noch einige Meter Weg zurückgelegt. Aus diesem Grund haben die KI-Entwickler ein paar Meter Spielraum gelassen, damit die Situation besser eingeschätzt werden kann.

Erforderliche Zeit, um dem Erkennungssystems von Tesla und Mobileye ein projiziertes Bild zu zeigen. Quelle

Die Angaben für wenige Meter gelten für das „Auge“ von Mobileye für autonomes Fahren und eine Geschwindigkeit von 60 km/h. In diesem Fall beträgt die Reaktionszeit ca. 125 Millisekunden. Teslas Autopilot reagiert nicht ganz so schnell, wie die Forscher in ihrem Experiment feststellen konnten – die Reaktionszeit von 400 Millisekunden ist ungefähr dreimal so lang, im Vergleich zum Autopiloten von Mobileye. Bei der gleichen Geschwindigkeit bedeutet das ca. 7 m mehr. So oder so ist es immer noch ein Bruchteil einer Sekunde. Die Forscher vertreten die Meinung, dass ein solcher Angriff aus heiterem Himmel kommen könnte, denn bevor man sich versieht, ist man im Graben gelandet und die Drohne, die das Bild projiziert hat, ist längst über alle Berge.

Es gibt allerdings einen Haken in dieser Methode, der darauf hoffen lässt, dass es letztendlich doch möglich sein wird, diese Art von Angriffen abzuwehren: Bilder, die auf ungeeignete Oberflächen projiziert werden, sind nicht besonders naturgetreu. Perspektivische Verzerrung, verschwommene Umrisse, unnatürliche Farben, extreme Kontraste und andere Eigentümlichkeiten dieser Art von Trugbildern machen es für das menschliche Auge sehr leicht sie von realen Objekten zu unterscheiden.

Dementsprechend beruht die Anfälligkeit für Phantom-Angriffe auf der Wahrnehmungslücke zwischen künstlicher Intelligenz und dem menschlichen Gehirn. Die Forscher dieser Studie sind der Überzeugung, dass das Autopilot-System zur Überbrückung dieser Lücke zusätzliche Aspekte überprüfen sollte, wie Perspektive, scharfe Umrisse, Farbe, Kontrast und Helligkeit. Außerdem sollten vor der Entscheidung die Ergebnisse darauf geprüft werden, ob sie alle übereinstimmen. Genau wie bei einem Schwurgerichtsverfahren, kann das neuronale Netzwerk mithilfe dieser Parameter unterscheiden, ob es sich um echte Signale der Kamera oder LiDAR handelt oder es eine flüchtige „Phantommeldung“ ist.

Das würde natürlich die Rechnerlast des Systems erhöhen und es müssten mehrere neuronale Netzwerke parallel laufen, die speziell für diese Aufgabe trainiert wurden (ein langer und energieaufwändiger Vorgang). Außerdem würden sich die Autos, die bereits kleine Computercluster auf Rädern sind, in kleine Cluster aus Supercomputern auf Rädern verwandeln.

Da KI-Beschleuniger immer gängiger werden, wäre es eventuell möglich Autos mit mehreren, parallel laufenden neuronalen Netzwerken auszustatten ohne den Energieverbrauch dadurch allzu sehr zu steigern. Aber das ist eine andere Geschichte und soll ein andermal erzählt werden.