Maschine denkt, Mensch lenkt?

Sein Erfindungsgeist lotet Grenzen aus: Mit Hilfe von Crowdfunding und Spenden baut Fedoro (32) eine neue Abteilung im Verteidigungsministerium auf, ein „Hightech-Cluster“, es will ukrainische Militärtechnik mit internationalen Investoren zusammenbringen. Im Fokus steht die Anwendung von Künstlicher Intelligenz (KI) in Waffensystemen. Auf die Frage, ob bereits voll autonome Drohnen im Einsatz sind, äußert sich Fedorow im Computermagazin Wired ausweichend: „Das ist eine Frage, auf die ich Ihnen im Moment keine Antwort geben kann. Die Antwort wird nach dem Sieg enthüllt.“

Ulrike Franke, Drohnen-Expertin beim European Council on Foreign Relations, sieht in ihrer neuen Studie die Ukraine als Testfeld der internationalen Drohnen-Produktion. „Die Ukrainer zeigen da viel Erfindungsgeist und Ingenieurskunst, bauen teils Systeme mit einfachsten Mitteln oder setzen hochqualitative Zivildrohnen erfolgreich militärisch ein.“

Während die Entwicklung automatisierter Waffensysteme (AWS) auf dem Schlachtfeld davonschreitet, fehlt allerdings jede internationale Regelung für ihren Einsatz. Besonders in Deutschland tut man sich schwer, jenseits von Verbots­szenarien über das Thema KI und Militär zu diskutieren. Oft ist vom „Terminator“ die Rede, der, wie Frank Sauer im Tagesspiegel schreibt, als „humanoider Holly­wood-Killerroboter so gut wie nichts mit der Sache zu tun hat – leider ist das wirklich immer noch nicht so richtig durchgedrungen“. Sauer, der an der Bundeswehr­universität München zum Einsatz von KI im Militär forscht, meint: „Wir müssen in Deutschland endlich eine ergebnisorientierte Diskussion führen.“ Anders als in den USA oder Frankreich, die längst KI-Strategien für Waffensysteme vorgelegt haben, gibt es in Deutschland keine kohärente Vorgehensweise. Um präzise zu bleiben: AWS – und damit der Einsatz von KI – sind längst Bestandteil moderner Armeen, auch der Bundeswehr. Ohne „Autonomie in Waffensystemen“, so der wissenschaftlich korrekte Begriff, würden das Flugabwehrraketensystem Patriot oder das Waffenleitsystem der Fregatte 125 nicht funktionieren. Noch allerdings entscheidet ein Mensch, wann und wie sie eingesetzt werden. Ein anschauliches Beispiel, wie gefährlich KI sein kann, ist der Einsatz sogenannter „loitering muni­tion“, zum Beispiel Drohnen, die in der Luft „­herumhängen“ und sich dann auf ein Ziel stürzen. Dieses Ziel, normalerweise ein gegnerischer Angreifer, wird per KI-gestützter Sensorik erkannt. Was KI (noch) nicht kann, ist zu unterscheiden: Steht dieses gegnerische Ziel in einem unbewohnten Industriekomplex oder auf dem Dach eines Kindergartens?

Politischer Stillstand

Seit fast zehn Jahren versucht eine UN-Initiative auf Ebene von Regierungsexperten diese Frage nach der „meaningful human control“ zu regeln. Der Regulierungsprozess bei der „Convention on Certain Conventional Weapons“ (CCW) in Genf „ist mit viel Hoffnung gestartet und hängt seit Jahren politisch fest“, analysiert die KI-Spezialistin Anja Dahlmann vom Institut für Friedensforschung und Sicherheitspolitik an der Universität Hamburg. „Es gab letztes Jahr keinen Konsens über ein Abschlusspapier. Und den wird es auch dieses Jahr nicht geben.“ Auch der erste internationale Gipfel „REAIM“ zu Fragen von KI in Waffensystemen, der im Februar in Den Haag stattfand und 2500 Teilnehmer aus 100 Staaten versammelte, kam über ein unverbindliches Abschlussdokument nicht hinaus. Warum eine Einigung so schwierig ist, zeigte die US-Reaktion. Das Pentagon veröffentlichte zeitgleich eine Erklärung, die den Einsatz von KI in Waffensystemen an das humanitäre Völkerrecht binden und ihren Einsatz durch „eine verantwortungsvolle menschliche Befehls- und Kontrollkette“ nachvollziehbar machen soll. Wie genau, bleibt offen.

Und das ist durchaus gewollt und erklärt sich durch knallharte militärische wie wirtschaftliche Interessen in einer zunehmend polarisierten Welt. Neben der Ukraine sind vor allem die in der KI-Forschung führenden Nationen wie die USA, China, Israel oder Südkorea dabei, die Fähigkeiten von autonomen Drohnen-Schwärmen auszuloten. Jegliche Regelwerke sind dabei hinderlich.

Die US-Agentur DARPA, die für das Pentagon neue Technologien erforscht, hat Anfang des Jahres Tech-Unternehmen aufgefordert, Schwärme mit bis zu 1000 Drohnen zu entwickeln. Dafür stellt das Pentagon in einer ersten Tranche 75 Millionen Dollar zur Verfügung. Die prompte Kritik aus der KI-Forschung: Man öffne die Büchse der Pandora für einen ungehemmten Einsatz von KI. Diesen Einwand wird das chinesische Verteidigungsministerium nicht zu fürchten haben; Staatspräsident Xi Jinping machte unmissverständlich klar, dass China bis 2030 die führende KI-Macht sein will. In der Waffentechnologie wurde eine „Strategic Support Force“ der Armee gegründet, die laut einem Bericht des Thinktanks Brookings zum Ziel hat, „KI auf militärische Missionen anzuwenden, um die Überlegenheit der USA im Indo-­Pazifik zu überwinden“.

Um so wichtiger wird die Debatte darüber, wie die „meaningful human control“ innerhalb der AWS gewährleistet werden kann. „Die zentrale Frage lautet, insbesondere mit Blick auf das Ausführen der kritischen Funktion der Zielauswahl und -bekämpfung: Wer oder was – Mensch oder Maschine – übernimmt was, wann und wo? Kurz: Der Fokus muss weg von Waffenkategorien und hin zur Rolle des Menschen“, sagt Sauer. Er warnt: „Die Debatte über die Bewaffnung von Drohnen hat zehn Jahre gedauert. Diese Zeit haben wir nicht.“ Mit der Entwicklung des Future Combat Air System (FCAS) etwa, dem größten europäischen Luftkampfsystem mit deutscher und französischer Beteiligung, wird die Frage nach der Rolle von KI in künftigen Waffensystemen virulent.

Im internationalen Vergleich hält sich Deutschland bei der Frage der Regulierung von KI in Waffensystemen zurück. Bislang gibt es keine offizielle Strategie, die eine nationale Position im Umgang mit AWS definieren würde. In den letzten drei Koalitionsverträgen wurden AWS ohne menschliche Kontrolle zwar geächtet. Im Koalitionsvertrag der Ampel heißt es aber wieder nur: „Letale autonome Waffensysteme, die der Verfügung des Menschen entzogen sind, lehnen wir ab.“ Für KI-Forscherin Dahlmann zu wenig: „Deutschland braucht eine klare Leitlinie, zum Beispiel eine Position des Bundestags oder des Verteidigungsministeriums: Was sind die roten Linien? Was sind die rechtlichen und ethischen Standards und wie sollen die umgesetzt werden? Das würde international die Rolle Deutschlands stärken.“

Viele nationale Player wie die Daten­ethikkommission der Bundesregierung oder die Enquetekommission „Künstliche Intelligenz“ des Bundestags äußern sich nur allgemein zu Fragen des Einsatzes von KI in allen gesellschaftlichen Belangen. Ihre Empfehlungen sind nicht rechtsverbindlich. In der letzten „Strategie Künstliche Intelligenz der Bundesregierung“ von 2018, im Jahr 2020 fortgeschrieben, gibt es zwar Kapitel zur KI-Forschung in „Gesundheit und Pflege“, „Umwelt und Klima“ oder „Landwirtschaft“. Am Ende, versteckt unter dem Titel „KI in der öffentlichen Verwaltung“, wird lapidar erwähnt, dass die Bundeswehr den Einsatz von KI prüfe: „Die Entwicklung von KI-Anwendungsmöglichkeiten insbesondere zum Schutz der äußeren Sicherheit und für militärische Zwecke wird im Rahmen der Ressortzuständigkeiten durchgeführt.“

Auch in der Bundeswehr gibt es keine umfassende, verbindliche Leitlinie, die die Beziehung Mensch-Maschine definieren würde. Das Amt für Heeresführung hat 2019 das Konzeptpapier „Künstliche Intelligenz in den Landstreitkräften“ herausgegeben. Darin: „Der Mensch muss die Entscheidungsgewalt über Leben und Tod behalten. Es gilt das Prinzip wirksamer menschlicher Kontrolle.“ Was daraus resultiert, ist jedoch unklar. Im Positionspapier „Gedanken zur Zukunft der Bundeswehr“, das der damalige Generalinspekteur Eberhard Zorn im Februar 2021 veröffentlicht hat, ist von sich „rasch weiterentwickelnden Waffentechnologien“ die Rede: „Drohnen, Killer-Satelliten, hypersonische Flugkörper. Gegen manche dieser Bedrohungen sind wir heute nur schlecht gewappnet.“ Von KI in Waffensystemen und deren potenziellem Nutzen, aber auch Bedrohung ist nicht die Rede. In Frankreich etwa hat eine Ethikkommission längst verbindliche Leitlinien für das Verteidigungsministerium entwickelt.

 Dabei braucht die Entwicklung eines so hochkomplexen „system of systems“ wie FCAS dringend klare Anforderungsprofile an KI. Zusammen mit dem Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie hat Airbus Defence and Space, einer der Partner von FCAS, eine „AG Technikverantwortung“ gegründet. Ihr gehören neben Industrie und Bundeswehr vor allem Mitglieder der Zivilgesellschaft wie Theologen und Politikwissenschaftlerinnen an: Wie kann KI ethischen Normen gerecht werden? Eigentlich antworten müsste das Verteidigungsministerium, ergo die Politik als Auftraggeber der Industrie. Experten wie Sauer mahnen schon lange eine nationale KI-Strategie an: „Als größtes europäisches Land mit steigenden Militärausgaben sollte Deutschland aktiver und selbstbewusster werden.“ Eine deutsche KI-Strategie sei wichtig für die „zukünftige Interope­rabilität in der NATO“. Bleibt Deutschland außen vor, „behindert es zudem das gemeinsame Setzen von Standards und das Entwickeln, Testen, Zertifizieren, Beschaffen und Nutzen von zukünftigen Systemen wie etwa FCAS“.

Das Parlament in der Pflicht

Die Politik allerdings scheint das Thema erst zu entdecken. Der Unterausschuss „Abrüstung, Rüstungskontrolle und Nichtverbreitung“ des Auswärtigen Ausschusses will sich intensiver mit AWS beschäftigen. „Die Debatte liegt deutlich hinter der technischen Entwicklung zurück“, erklärte im Mai SPD-Obmann Ralf Stegner. Vor der UN-Generalversammlung im September möchten Grüne wie SPD „einen völkerrechtlich verbindlichen Regulierungsrahmen für AWS auf den Weg bringen“. Für FDP-Verteidigungsexperte Marcus Faber wäre eine breite Debatte über KI in Waffensystemen im Parlament sinnvoll: „Ähnlich, wie wir sie über die Bewaffnung von Drohnen geführt haben, zum Beispiel im Rahmen einer Anhörung im Verteidigungsausschuss.“ CDU-Sicherheitspolitiker Markus Grübel, Mitglied des Verteidigungsausschusses, sieht das Parlament in der Pflicht: „Vielleicht gelingt es uns, anders als bei der zehnjährigen Diskussion über die Bewaffnung von Drohnen, dass wir eine rationale Debatte führen können und nicht wieder eine Entwicklung verschlafen.“