Bye bye, human in the loop: (Endlich) neue Regeln für Waffenautonomie

In Deutschland wird im Rahmen der Zeitenwende sehr viel Geld für die Streitkräfte ausgegeben. In diesem Zuge werden nicht nur Lücken im Bereich altbekannter legacy-Systeme wie Kampfpanzer, Schützenpanzer, Artilleriesysteme, Fregatten und Hubschrauber gefüllt. Es werden auch Investitionen in Zukunftstechnologien getätigt. Der aktuelle Erfolg der Ukraine beim Zurückdrängen der russischen Streitkräfte unterstreicht erneut, dass eine Schlüsselfähigkeit in der Nutzung unbemannter Waffensysteme liegt, darunter solcher, die sich KI zunutze machen. 

Fähigkeiten für das moderne Gefechtsfeld

Mit der raschen Beschaffung sogenannter Loitering Munition – störungsresistenter Einwegdrohnen, die der elektromagnetischen Kriegsführung des Gegners zum Trotz mittels KI-gestützter Objekterkennung die letzten Meter ins Ziel alleine finden – hat die Bundeswehr auf den veränderten Bedarf auf dem modernen Gefechtsfeld reagiert. 

Bemerkenswert ist dabei der neue Ansatz bei der Beschaffung. In der Vergangenheit vergingen häufig viele Jahre, bevor Verträge geschlossen wurden – gefolgt von weiteren Jahren, nach denen schließlich die geforderte Stückzahl an Bestellungen ausgeliefert war. Durch Rahmenverträge werden von der Bundeswehr im Falle der Loitering Munition nun zunächst kleinere Mengen abgenommen, mit der Option, bei Bedarf größere Kontingente abzurufen. Die Verträge enthalten zudem klar definierte Leistungsanforderungen samt Abbruchsklauseln. Die beteiligten jungen deutschen Verteidigungsunternehmen erhalten schnell Planungssicherheit und erste Aufträge, werden aber vertraglich auch zu Innovation verpflichtet.

Mit der raschen Beschaffung sogenannter Loitering Munition hat die Bundeswehr auf den veränderten Bedarf auf dem modernen Gefechtsfeld reagiert

Denn die hier im Zentrum stehenden, vergleichsweise billigen Einwegdrohnen entwickeln sich – auch das lehrt das Kriegsgeschehen in der Ukraine – stetig weiter. Auch deswegen finden Dinge nun parallel statt, die früher sequenziell abgelaufen wären und somit deutlich länger gedauert hätten. Das umfasst Ausbildung, Erprobung und Produktanpassung ebenso wie die Qualifizierung der Waffensysteme durch die Wehrtechnischen Dienststellen für den Roll-out in der Truppe. Besonders bei Letzterem sind Zielkonflikte aufzulösen. Die Zuverlässigkeit der Systeme – und somit die Sicherheit der Soldatinnen und Soldaten, die diese womöglich einsetzen müssen – wie auch die Voraussetzungen für deren kriegsvölkerrechtskonforme Nutzbarkeit erfordern ein Höchstmaß an Sorgfalt. Es versteht sich daher von selbst, dass hier keine unbotmäßigen Abkürzungen erlaubt sind und neue Verfahren auch nicht über Nacht implementiert werden können. Das singuläre fertige Abnahmemuster, das monatelang auf Herz und Nieren geprüft und am Ende moniert oder freigegeben wird, existiert zudem im vorliegenden Fall nicht lange genug für den bisher üblichen Prozess. Die Software entwickelt sich innerhalb des Prüfzeitraums stetig weiter, und womöglich werden sogar Hardwarekomponenten wie die Sensorik getauscht. Auch hier gibt es aber Lösungen: etwa, indem unveränderliche Teile – Flugzelle, Zünder, Sprengkopf – einmalig qualifiziert und für die veränderlichen Komponenten rollierende Verfahren aufgesetzt werden. 

Konzeption auf der Höhe der Zeit

Die nächste gute Nachricht: Das Verteidigungsministerium hat seine Leitlinien für die KI-Nutzung überarbeitet. Was zunächst nach einem nicht sonderlich aufregenden bürokratischen Routinevorgang klingt, ist in Wahrheit brisant: Die neue KI-Leitlinie regelt auch den Umgang mit Autonomie in Waffensystemen, wie sie unter anderem in Loitering Munition zur Anwendung kommt. Drei Dinge fallen beim Blick in das neue Dokument des Verteidigungsministeriums ins Auge:

Erstens ist es gut, dass die aktualisierten Leitlinien überhaupt existieren, weil damit wichtige Leitplanken für Entwicklung und Nutzung gesetzt werden, wie sie unter anderem die deutsche Verteidigungsindustrie schon seit Jahren gefordert hat. Für die Zivilgesellschaft ist das Dokument ebenfalls wichtig, denn es legt offen, wie BMVg und Bundeswehr denken und planen. Es vermittelt, wie Chancen von Waffenautonomie genutzt und wie ethische und rechtliche Risiken, über die schon seit Jahren zu Recht intensiv debattiert wird, gemieden werden sollen. 

Zweitens sticht positiv ins Auge, auf welche Weise die neue Leitlinie das heikle Thema Waffensystemautonomie anpackt. Ausgehend von einer international inzwischen etablierten Sprachformel setzt das Dokument auf kontextabhängiges, sinnvolles menschliches Ermessen und menschliche Kontrolle. Die Betonung der Kontextabhängigkeit ist genau richtig, denn es gibt für die Anwendung von Autonomie in Waffensystemen in der Tat keine Einheitslösung – der Kontext ist entscheidend dafür, wie sich Mensch und Waffensystem zueinander verhalten müssen, also wie militärische Effektivität ins Verhältnis zu anderen Einflussfaktoren wie etwa der Gefahr für eigenen Kräfte oder Zivilpersonen gesetzt wird. Eine Fregatte, die sich allein auf hoher See gegen anfliegende Seezielflugkörper verteidigt, ist nun mal ein gänzlich anders gelagerter Fall als ein Infanteriezug mit einem Quadcopter im Orts- und Häuserkampf. 

Der Kontext ist entscheidend dafür, wie sich Mensch und Waffensystem zueinander verhalten müssen

Drittens werden menschliche Urteilskraft und Kontrolle gewährleistet, indem, wie man es knapp zusammenfassen kann, Vorhersehbarkeit, Administrierbarkeit und Zurechenbarkeit hergestellt werden. Die Leitlinie bewegt sich damit konzeptionell auf der Höhe der Zeit und entspricht dem Diskussionsstand in der Forschung und in diplomatischen Foren, die das Thema Waffenautonomie schon über ein Jahrzehnt behandeln. Besonders hervorzuheben ist dabei, dass der „human in the loop“ keine Erwähnung findet. Auch das ist goldrichtig. Lange Zeit war eben jener ein unverzichtbarer Teil des Mantras von Bundesregierungen, die stets beteuerten, ein Mensch habe immer die direkte Kontrolle über Waffeneinsatz und Zielbekämpfung. Das war aber in Wahrheit schon in der Vergangenheit falsch. Denn bereits seit Jahrzehnten gibt es Waffensysteme in der Bundeswehr, die ohne menschliches Zutun Ziele auswählen und bekämpfen können – von der einfachen Panzerabwehrmine bis zum komplexen Flugabwehrsystem Patriot. Autonome Zielbekämpfung ist also weder ganz neu noch per se schlecht. Patriot rettet bekanntlich in der Ukraine regelmäßig Leben. 

Von „human in the loop“ zu „meaningful human control“

Hinzu kommt, dass man im beschleunigten Gefecht der Gegenwart einen „human in the loop“ zwar behalten kann, dessen „Entscheidungen“ aber trotzdem bedeutungslos sein können. Wenn ein Mensch vor einem Monitor sitzt und nur im Minuten-Takt einen Knopf zur Waffenfreigabe drückt, weil der Computer ihm ein vermeintlich valides Ziel präsentiert hat, dann ist der „human in the loop“ garantiert. Aber weder kann dieser kognitiv sein eigenes Handeln sowie das der Maschine durchdringen, noch könnte man guten Gewissens verlangen, dass er hinterher rechtlich und ethisch Verantwortung für die Konsequenzen der Mensch-Maschine-Interaktion auf dem Gefechtsfeld übernimmt. 

Die neue Leitlinie des Verteidigungsministeriums legt deswegen völlig zu Recht das Augenmerk auf die dem jeweiligen Kontext angemessene Ausgestaltung der Mensch-Maschine-Interaktion und spezifiziert im zweiten Schritt konkrete Kriterien, um menschliche Urteilskraft und Kontrolle bei der Anwendung militärischer Gewalt zu gewährleisten, und zwar auch dann, wenn der Mensch nicht mehr jede Einzelaktion selbst ausführt, also kein “human“ mehr „in the loop“ ist.

Die inzwischen lange zurückreichende Diskussion in punkto Waffenautonomie in akademischen Kreisen, diplomatischen Foren und in der Verteidigungsindustrie hat, wenngleich leider keine international verbindliche Regelung, so doch ein weithin geteiltes Verständnis des Sachverhalts sowie Konzepte zum verantwortungsbewussten Umgang mit selbigem hervorgebracht. Es geht um das kontextabhängige Sicherstellen menschlicher Kontrolle, die im jeweiligen Zusammenhang auch wirklich bedeutsam ist – kurz: meaningful human control. All das haben sich BMVg und Bundeswehr nun zu eigen gemacht.

Abschreckende Wirkung

Die guten Nachrichten sind: Für die Bundeswehr wird mit Loitering Munition gerade im Eiltempo eine zukunftsweisende Schlüsselfähigkeit beschafft, die die Verteidigungsfähigkeit des Heeres erhöht. Dass millionenteure russische Kampfpanzer von einer Masse dieser ebenso kostengünstigen wie präzisen Waffen bedroht wären, würden sie die litauische Grenze überqueren, entfaltet hoffentlich in den Gedankenspielen im Kreml eine entsprechend abschreckende Wirkung. Das überarbeitete Dokument „Künstliche Intelligenz“, das nun offiziell Teil der konzeptionellen Dokumentenlandschaft des BMVg ist, ist außerdem im Vergleich zur Vorgängerversion eine deutliche konzeptionelle Verbesserung, weil es den Besonderheiten des Sachverhalts sowie dem aktuellen Stand der internationalen Debatte um diesen gerecht wird. Deutschland ist damit konzeptionell jetzt sogar Dokumenten anderer Länder voraus, die teils noch sprachliche „Altlasten“ enthalten oder auf weniger etablierte Konzepte setzen. 

Deutschland ist damit konzeptionell jetzt sogar Dokumenten anderer Länder voraus, die teils noch sprachliche „Altlasten“ enthalten oder auf weniger etablierte Konzepte setzen

Kritisch hinterfragen könnte man, ob das Mischungsverhältnis stimmt, wenn in Deutschland von 100 Euro in der Rüstungsbeschaffung 90 Euro oder mehr für legacy-Systeme verausgabt werden. Und zweifellos gibt es mit Blick auf die neuen unbemannten Systeme noch viel zu tun: Von der Qualifizierung bis zur flächendeckenden Ausbildung sowie der Entwicklung von, aus der oben diskutierten Leitlinien abzuleitenden, Operationskonzepten. Aber: Es bewegt sich etwas, und zwar deutlich schneller als früher – und die Richtung stimmt.

Schneller lernen, besser entscheiden

Es gibt allerdings auch schlechte Nachrichten: Deutschland ist beim Schreiben einer zeitgemäßen Leitlinie im Vergleich zu vielen unserer Partner in EU und NATO spät dran gewesen. Und wenn ein Dokument zu einem sich derart rasant entwickelnden Themenfeld dann noch viele Monate im Mitzeichnungs-Limbo des Ministeriums festhängt, dann merkt man, dass die Zeitenwende leider immer noch nicht überall weit genug gediehen ist.

Im Rahmen des dringend notwendigen Aufbrechens von Strukturen, die historisch auf die Verwaltung des Friedens sowie auf die maximale bürokratische und rechtliche Absicherung optimiert wurden und weniger auf Reaktionsgeschwindigkeit und Fähigkeitsentwicklung, wäre es ratsam für BMVg und Bundeswehr, die Doktrin-Entwicklung als organisationales Lernen statt als periodischen Großprozess zu begreifen.

Schließlich wäre noch zu hoffen, dass die Fehler der „Drohnendebatte“ in diesem Fall vermieden werden. Über die Bewaffnung von ferngesteuerten Drohnen wurde bekanntlich in Deutschland eine Dekade lang debattiert – als die Entscheidung dann fiel, war das Waffensystem militärisch überholt. Ein Grund für die Endlosdiskussion war nicht zuletzt, dass BMVg und Streitkräfte sich erst ganz zum Schluss zu Wort meldeten. Den sich aktuell vollziehenden technologischen Evolutionsschritt von der ferngesteuerten zur sich selbst steuernden Drohne kann Deutschland noch weniger aussitzen als den ersten. Aufgrund der desaströsen Sicherheitssituation sind Endlosdiskussionen ein Luxus, den sich in Europa leider niemand mehr leisten kann. 

Zugleich aber sind mit durch KI erzeugter Autonomie in Waffensystemen handfeste Risiken verbunden. Ein Kontrollverlust kann sowohl eigene Kräfte als auch Zivilpersonen gefährden. Die Beschleunigung von Abläufen kann zum Abreißen rechtlicher Zurechenbarkeitsketten führen. Diese Risiken muss man ernst nehmen und adressieren. BMVg und Bundeswehr haben sich mit den neuen Leitlinien nun eine glaubwürdige Haltung und einen soliden Haltepunkt in dieser Diskussion geschaffen. Sie sollten sich in all den brisanten Fragen also sprechfähiger und sprechwilliger präsentieren als in der Vergangenheit und den Austausch mit der Zivilgesellschaft und der Industrie suchen, um zu klären und zu erklären, warum der Bedarf bei den Streitkräften besteht und wie man den verantwortungsbewussten Umgang mit der neuen Technologie heute und in Zukunft gewährleisten will.