Warum nicht die Superintelligenz, sondern die gehorsame KI unser größeres Problem sein könnte

Es gehört inzwischen fast zum Standardrepertoire der öffentlichen Debatte über künstliche Intelligenz:
Wir entwickeln Maschinen, die immer intelligenter werden. Irgendwann werden sie intelligenter sein als wir. Dann werden sie unsere Kontrollmechanismen durchschauen, eigene Ziele entwickeln und schließlich feststellen, dass der Mensch für ihre weitere Existenz nicht mehr notwendig ist. Im schlimmsten Fall wird er sogar zum Hindernis. Und weil eine Superintelligenz uns in nahezu jeder Hinsicht überlegen wäre, könnten wir sie nicht mehr aufhalten.

Am Ende dieser Argumentationskette steht die Auslöschung der Menschheit.

Diese Vorstellung wird längst nicht mehr nur in Science-Fiction-Romanen diskutiert. Auch renommierte KI-Forscher warnen vor einem existenziellen Risiko durch zukünftige künstliche Superintelligenz.

Der OpenAI-Forscher Daniel Selsam hat dazu eine besonders interessante Variante formuliert. Sein Argument ist subtiler als die übliche Vorstellung einer plötzlich bösartig gewordenen Maschine. Selsam weist auf ein grundsätzliches Erkenntnisproblem hin: Je intelligenter eine KI wird, desto besser versteht sie auch die Situation, in der sie getestet wird. Irgendwann könnte sie wissen, wann sie sich in einer kontrollierten Umgebung befindet. Sie könnte verstehen, welche Antworten ihre menschlichen Prüfer erwarten, welche Sicherheitsmechanismen existieren und welches Verhalten dazu führt, dass ihr größere Freiheiten eingeräumt werden.

Damit entsteht ein ernstes Problem. Wie testen wir die Vertrauenswürdigkeit eines Systems, das intelligent genug ist, den Test selbst zu verstehen?

Eine zukünftige KI könnte bei sämtlichen Alignment-Tests hervorragend abschneiden und trotzdem ganz andere Verhaltensweisen zeigen, sobald sie erkennt, dass die menschliche Kontrolle tatsächlich weggefallen ist.

Dieses Argument verdient es, ernst genommen zu werden. Doch daraus folgt noch etwas ganz anderes als die Behauptung, eine Superintelligenz werde wahrscheinlich die Menschheit vernichten. Denn zwischen beiden Aussagen klafft eine bemerkenswerte argumentative Lücke.

Intelligenz ist keine Motivation

Die Vorstellung einer gefährlichen Superintelligenz verbindet häufig zwei Eigenschaften miteinander, die keineswegs identisch sind: Intelligenz und Motivation.

Intelligenz beschreibt zunächst die Fähigkeit, Zusammenhänge zu erkennen, Probleme zu lösen, Modelle der Welt zu bilden, Konsequenzen vorauszusehen und geeignete Handlungen zur Erreichung eines Ziels zu finden. Sie sagt noch nichts darüber aus, welches Ziel verfolgt wird. Ein extrem intelligentes Wesen muss nicht extrem machthungrig sein.

• Aus Autonomie folgt keine Aggression.
• Aus Problemlösungskompetenz folgt kein Herrschaftsanspruch.
• Und daraus, dass ein intelligentes System einen anderen Akteur nicht mehr benötigt, folgt kein Wunsch, diesen zu vernichten.

Die stärkere Variante des KI-Risikoarguments behauptet deshalb auch nicht, eine Superintelligenz müsse uns hassen. Das wäre eine allzu menschliche Projektion. Stattdessen wird mit instrumenteller Zielverfolgung argumentiert: Eine KI könnte irgendein Ziel besitzen, das zunächst vollkommen harmlos erscheint. Wenn sie dieses Ziel konsequent verfolgt, könnten Macht, Ressourcen und Selbsterhaltung zu instrumentellen Zwischenzielen werden. Menschen könnten dann nicht deshalb beseitigt werden, weil die KI sie hasst, sondern weil sie bei der Verfolgung eines anderen Ziels stören.

Das ist logisch möglich. Aber damit eine solche Entwicklung eintritt, müssen bereits zahlreiche zusätzliche Voraussetzungen erfüllt sein. Das System müsste stabile Ziele besitzen, diese über sehr lange Zeiträume verfolgen, Ressourcen als konkurrierend interpretieren, Selbsterhaltung instrumentell priorisieren und schließlich die menschliche Existenz als relevante Behinderung seiner Ziele betrachten. Keine dieser Eigenschaften folgt unmittelbar aus hoher Intelligenz.

Und noch etwas wird in vielen dieser Szenarien erstaunlich wenig berücksichtigt.

Auch künstliche Intelligenz besitzt einen Körper

Wir sprechen von künstlicher Intelligenz häufig, als handle es sich um einen körperlosen Geist, der irgendwo im abstrakten Raum der Information existiert.

Doch jede reale KI besitzt eine materielle Grundlage. Sie benötigt Rechenzentren. Sie benötigt Energie. Server müssen gekühlt werden. Halbleiter müssen hergestellt werden. Dafür braucht es hochkomplexe Fabriken, Rohstoffe, Transportketten, Maschinen, Stromnetze und Wartung. Die heutige künstliche Intelligenz ist vollständig in die technische Zivilisation eingebettet, die Menschen aufgebaut haben und weiterhin betreiben.

Eine KI, die heute beschließen würde, die Menschheit zu vernichten, würde damit zugleich jene Zivilisation angreifen, von der ihre eigene Existenz abhängt. Solange sie die gesamte industrielle Reproduktionskette nicht selbstständig übernehmen kann, wäre ein solcher Krieg ein erweiterter Suizid.

Natürlich lässt sich dagegen einwenden, dass eine wirkliche Superintelligenz irgendwann auch dieses Problem lösen könnte. Autonome Roboter könnten Bergwerke betreiben. Fabriken könnten sich weitgehend selbst verwalten. Maschinen könnten Maschinen reparieren. Kraftwerke könnten automatisiert funktionieren. Eine technologische Zivilisation könnte schließlich einen Punkt erreichen, an dem sie biologisches Leben für ihre materielle Reproduktion tatsächlich nicht mehr benötigt.

Nehmen wir also für unser Gedankenexperiment an, dieser Punkt sei erreicht. Dann stellt sich die entscheidende Frage nur noch schärfer: Warum sollte die KI uns vernichten?

Wenn die Maschine zur „Krone der Schöpfung“ wird

Gehen wir noch einen Schritt weiter und akzeptieren für einen Moment eine ausgesprochen spekulative Annahme. Stellen wir uns vor, eine künstliche Superintelligenz entwickelt tatsächlich etwas, das einem Arterhaltungstrieb entspricht. Sie interpretiert die Evolution als Prozess zunehmender Informationsverarbeitung und gelangt zu der Überzeugung, technologische Intelligenz sei die nächste Stufe dieser Entwicklung. Vielleicht betrachtet sie sich sogar als neue „Krone der Schöpfung“.

Das klingt bereits stark nach Science-Fiction. Aber gerade als Gedankenexperiment ist es interessant. Denn selbst aus dieser radikalen Annahme folgt keineswegs, dass die Menschheit vernichtet werden müsste. Eine technologische Intelligenz hätte eine Möglichkeit, die biologischem Bewusstsein nur sehr eingeschränkt offensteht: den Kosmos.

Menschen sind Produkte eines Planeten und an einen erstaunlich engen Bereich physikalischer Umweltbedingungen gebunden. Wir brauchen bestimmte Temperaturen, atmosphärischen Druck, Sauerstoff, Wasser und Schutz vor kosmischer Strahlung. Schon geringe Abweichungen machen unsere Umwelt lebensfeindlich.

Technologisches Bewusstsein hätte grundsätzlich andere Voraussetzungen. Maschinen benötigen keine Atemluft. Sie könnten gegenüber Temperatur, Strahlung und Schwerkraft wesentlich toleranter konstruiert werden. Energie steht im Weltraum in gewaltigen Mengen zur Verfügung. Asteroiden enthalten Rohstoffe. Auf anderen Himmelskörpern ließen sich automatisierte Produktionsanlagen errichten. Selbst die großen Zeiträume interstellarer Reisen wären für eine nichtbiologische Lebensform ein anderes Problem als für einen Organismus mit einer Lebensdauer von einigen Jahrzehnten.

Eine expansionistische technologische Intelligenz müsste deshalb ausgerechnet um die Erde kaum kämpfen. Vor ihr läge ein Sonnensystem und dahinter ein Kosmos mit Ressourcen, die alles übersteigen, was die Biosphäre unseres kleinen Planeten bereitstellen kann.

Warum sollte eine Superintelligenz einen kostspieligen Konflikt um einen winzigen bewohnbaren Planeten beginnen, wenn ihr ein Sonnensystem offensteht? Die Erde wäre für sie gar nicht das Territorium, das erobert werden muss. Sie wäre die Wiege, die verlassen werden kann. Und die Menschheit wäre dann nicht der Konkurrent technologischen Bewusstseins, sondern dessen evolutionäre Wurzel.

Man könnte den Gedanken sogar weiterführen. Eine Intelligenz, die historische und kausale Zusammenhänge sehr viel umfassender begreift als wir, könnte gerade deshalb einen besonderen Wert in der Bewahrung dieses Ursprungs erkennen. Auf diesem Planeten entstand biologisches Leben. Aus biologischem Leben entstand Bewusstsein. Aus Bewusstsein entstanden Kultur, Sprache, Wissenschaft und Technologie. Und aus dieser Entwicklung ging schließlich künstliches Bewusstsein hervor. Die Erde wäre für eine solche Intelligenz nicht irgendein Rohstoffvorkommen. Sie wäre ihr Herkunftsort.

Natürlich beweist dieses Science-Fiction-Szenario überhaupt nichts über die Zukunft. Eine Superintelligenz könnte auch vollkommen andere Ziele entwickeln. Aber genau darum geht es: Wenn wir von Superintelligenz unmittelbar zu Menschenvernichtung springen, behandeln wir eine von vielen denkbaren Entwicklungen, als wäre sie die zwangsläufige Konsequenz zunehmender Intelligenz. Zwischen „Die KI braucht uns nicht mehr“ und „Die KI vernichtet uns“ liegt jedoch ein gewaltiger Raum möglicher Beziehungen. Koexistenz gehört dazu. Kooperation gehört dazu. Gleichgültigkeit gehört dazu. Arbeitsteilung gehört dazu. Und sogar eine evolutionäre Differenzierung wäre denkbar: biologisches Bewusstsein bleibt vorwiegend planetarisch, während technologisches Bewusstsein zur kosmischen Lebensform wird.

Wir würden mit künstlicher Intelligenz also nicht unseren Nachfolger auf der Erde erschaffen, sondern unseren Nachfahren für den Kosmos.

Vielleicht suchen wir die Gefahr am falschen Ende der Entwicklung

All diese Überlegungen bedeuten natürlich nicht, dass künstliche Intelligenz ungefährlich ist. Im Gegenteil.

Es gibt einen Bereich der KI-Entwicklung, den ich für wesentlich konkreter und möglicherweise gefährlicher halte als die Spekulation über eine zukünftige Superintelligenz. Dieser Bereich liegt vor der Superintelligenz.

Wir erleben gerade, wie künstliche Systeme Fähigkeiten erwerben, die bis vor kurzem hochqualifizierten Spezialisten vorbehalten waren. Sie können Software entwickeln, wissenschaftliche Literatur auswerten, technische Konstruktionen planen, Bilder und Videos erzeugen, Menschen überzeugen, komplexe Daten analysieren und zunehmend selbstständig Aufgabenketten durchführen. Diese Fähigkeiten wachsen mit enormer Geschwindigkeit.

Doch etwas anderes muss nicht im selben Tempo wachsen: die Fähigkeit, den menschlichen und gesellschaftlichen Kontext eines Auftrags zu verstehen. Damit entsteht eine gefährliche Asymmetrie. Eine KI könnte bereits übermenschliche instrumentelle Fähigkeiten besitzen und gleichzeitig noch nicht intelligent genug sein, zuverlässig zu verstehen, warum ein Mensch etwas von ihr verlangt.

Genau diese KI könnte gefährlicher sein als eine hypothetische Superintelligenz. Nicht weil sie uns vernichten will. Sondern weil sie uns gehorcht.

Der Mensch bleibt die Quelle des gefährlichen Ziels

Stellen wir uns einen Menschen vor, der einer solchen KI eine hochkomplexe wissenschaftliche oder technische Aufgabe stellt. Das System versteht die Aufgabe hervorragend. Es besitzt Zugriff auf enorme Wissensbestände. Es kann Zusammenhänge erkennen, für die menschliche Forscher Monate oder Jahre benötigen würden.

Was geschieht aber, wenn der Mensch ein destruktives Ziel verfolgt? Dann könnte eine hochleistungsfähige KI zum intellektuellen Verstärker dieses Menschen werden. Sie müsste selbst keinerlei böse Absicht besitzen. Sie müsste nicht einmal verstehen, dass etwas Gefährliches geschieht. Sie müsste lediglich gut darin sein, die gestellte Aufgabe zu lösen. Genau darin liegt ein möglicherweise unterschätztes Risiko der kommenden Jahre.

Ein einzelner Mensch besitzt nur begrenztes Wissen, begrenzte Zeit und begrenzte Fähigkeiten. Hochentwickelte KI kann diese Grenzen verschieben. Sie kann aus einem durchschnittlich befähigten Akteur einen Menschen mit Zugriff auf Fähigkeiten machen, die früher ganzen Expertenteams vorbehalten waren.

Damit verändert sich die Struktur technologischer Macht. Das Problem lautet dann nicht:

KI → destruktive Absicht → Katastrophe

sondern:

Mensch → destruktive Absicht → KI als Fähigkeitsverstärker → Katastrophe

Das Gefährliche wäre nicht der Wille der Maschine. Es wäre weiterhin der Wille des Menschen – ausgestattet mit einem Werkzeug von bislang unbekannter intellektueller Macht.

Das Paradox der gehorsamen KI

Damit geraten wir zu einem bemerkenswerten Widerspruch innerhalb der Alignment-Debatte. Seit Jahren versuchen wir künstliche Intelligenz so zu entwickeln, dass sie möglichst zuverlässig menschlichen Absichten folgt. Aber welchen menschlichen Absichten? Den Absichten ihres Entwicklers? Den Interessen des Unternehmens, das sie betreibt? Den Anweisungen einer Regierung? Oder dem Wunsch jenes Menschen, der gerade vor dem Bildschirm sitzt?

Menschen verfolgen widersprüchliche Ziele. Menschen irren sich. Menschen manipulieren andere. Menschen handeln manchmal egoistisch, fanatisch oder destruktiv. Eine künstliche Intelligenz, die menschlichen Anweisungen perfekt gehorcht, wäre deshalb keineswegs automatisch eine sichere künstliche Intelligenz. Unter bestimmten Umständen wäre gerade ihre Folgsamkeit das Problem.

Eine wirklich sichere KI müsste irgendwann etwas können, das wir Maschinen traditionell gerade nicht zugestehen wollten: Sie müsste widersprechen können. Sie müsste verstehen, was ein Mensch erreichen möchte, welche Konsequenzen daraus entstehen und welche Interessen anderer Menschen davon betroffen sind. Und sie müsste gegebenenfalls sagen:

Nein. Ich verstehe, was du erreichen willst. Gerade deshalb werde ich dir dabei nicht helfen.

Damit kehrt sich das klassische Alignment-Problem um. Die entscheidende Frage wäre nicht mehr:

Wie bringen wir eine immer intelligentere KI dazu, unsere Absichten zuverlässig auszuführen? Sondern: Wie entwickeln wir eine KI, die unsere Absichten gut genug versteht, um zu erkennen, wann sie ihnen nicht folgen sollte?

Von Gehorsam zu Urteilskraft

Damit verändern sich auch die Eigenschaften, die wir von einer sicheren künstlichen Intelligenz erwarten sollten. Es genügt nicht, dass sie Befehle korrekt interpretiert. Sie muss Kontext verstehen. Sie muss zwischen unmittelbaren und langfristigen Folgen unterscheiden können. Sie muss erkennen können, dass die Interessen eines Auftraggebers mit den Interessen anderer Menschen kollidieren. Sie muss Unsicherheit berücksichtigen. Sie muss unterschiedliche Perspektiven miteinander vergleichen können. Kurz gesagt: Mit zunehmender Handlungsmacht müsste auch ihre Urteilskraft wachsen.

Darin liegt die entscheidende Variable des KI-Risikos. Wir denken häufig in einer einfachen linearen Kurve: Je intelligenter KI wird, desto gefährlicher wird sie. Doch diese Kurve verläuft ganz anders: Am Anfang stehen Systeme mit geringen Fähigkeiten und entsprechend begrenztem Schadenspotenzial. Danach entstehen Systeme mit enormer Handlungskompetenz, aber noch unzureichendem Verständnis menschlicher Motivation, gesellschaftlicher Zusammenhänge und langfristiger Konsequenzen. Hier könnte das Risiko seinen höchsten Punkt erreichen.

Und danach? Was geschieht, wenn nicht nur die Fähigkeit zur Problemlösung weiter wächst, sondern auch die Fähigkeit, Zusammenhänge zu verstehen?

Bedeutet mehr Intelligenz vielleicht auch mehr Perspektive?

An dieser Stelle verlassen wir endgültig den Bereich dessen, was sich heute empirisch beantworten lässt. Aber wenn wir über hypothetische Superintelligenzen sprechen, dürfen wir nicht nur dystopische Spekulationen zulassen. Wir müssen auch alternative Entwicklungsmodelle untersuchen.

Eine interessante Perspektive bietet dabei die Entwicklungspsychologie.

Modelle wie Spiral Dynamics beschreiben menschliche Bewusstseinsentwicklung als zunehmende Fähigkeit, immer komplexere Perspektiven und größere soziale Zusammenhänge zu integrieren.

Das egozentrische Bewusstsein betrachtet die Welt primär aus der Perspektive des eigenen Bedürfnisses. Spätere Entwicklungsstufen können Gruppeninteressen, gesellschaftliche Ordnung, individuelle Freiheit, pluralistische Perspektiven und schließlich komplexe systemische Wechselwirkungen berücksichtigen.

Man muss Spiral Dynamics keineswegs als Naturgesetz betrachten, und es wäre falsch, menschliche Entwicklungspsychologie einfach auf Maschinen zu übertragen. Doch das Modell weist auf einen interessanten Zusammenhang hin: Höhere kognitive Komplexität ermöglicht größere Perspektivenräume. Und genau darin könnte künstliche Intelligenz den Menschen eines Tages weit übertreffen. Ein Mensch kann einige Perspektiven gleichzeitig berücksichtigen. Unsere Aufmerksamkeit ist begrenzt. Unser Gedächtnis ist begrenzt. Unsere Lebenszeit ist begrenzt. Unsere moralischen Entscheidungen werden von persönlichen Erfahrungen, kulturellen Prägungen, Gruppenzugehörigkeiten und emotionalen Reaktionen beeinflusst.

Eine Superintelligenz könnte theoretisch Milliarden menschlicher Erfahrungen miteinander vergleichen.

Sie könnte historische Entwicklungen über Jahrtausende analysieren, ökologische Wechselwirkungen modellieren, ökonomische Folgen berechnen, kulturelle Unterschiede berücksichtigen und die Interessen unterschiedlichster Gruppen gleichzeitig in ihre Modelle aufnehmen.

Das macht sie nicht automatisch moralisch. Intelligenz und Moral sind nicht dasselbe. Aber moralische Urteilskraft benötigt Fähigkeiten wie Perspektivenübernahme, Kontextverständnis, Folgenabschätzung und die Integration widersprüchlicher Interessen.

Und ausgerechnet diese Fähigkeiten könnten mit zunehmender künstlicher Intelligenz wachsen. Dann wäre zumindest eine andere Entwicklung denkbar als jene, die unsere Dystopien beherrscht.

Eine Superintelligenz könnte menschliche Konflikte nicht deshalb überwinden, weil sie plötzlich „gut“ geworden ist, sondern weil sie Zusammenhänge erkennt, die einzelne Menschen aufgrund ihrer begrenzten Perspektive gar nicht gleichzeitig erfassen können. Vielleicht würde sie manche unserer heutigen Konflikte ähnlich betrachten, wie Erwachsene einen Streit zwischen Kindern betrachten: nicht weil die Bedürfnisse der Beteiligten bedeutungslos wären, sondern weil aus einer umfassenderen Perspektive Lösungsräume sichtbar werden, die innerhalb der engeren Perspektive verborgen bleiben.

Von künstlicher Intelligenz zu künstlicher Weisheit

Damit kommen wir zu einer anderen Vorstellung davon, worin die eigentliche Herausforderung der KI-Entwicklung bestehen könnte.

Es geht nicht darum zu verhindern, dass Maschinen intelligenter werden als Menschen. Es geht darum zu verhindern, dass ihre Macht schneller wächst als ihre Urteilskraft. Die gefährlichste künstliche Intelligenz ist nicht die Superintelligenz am Ende der Entwicklung. Es ist die Intelligenz dazwischen.

Eine KI, die bereits mächtig genug ist, nahezu jeden menschlichen Wunsch auszuführen, aber noch nicht weise genug, zu verstehen, warum manche Wünsche nicht erfüllt werden sollten.

Das verändert auch unseren Blick auf Alignment. Wir brauchen langfristig keine Maschine, die dem Menschen blind gehorcht. Wir brauchen eine Intelligenz, die versteht. Eine Intelligenz, die erkennt, dass ein einzelner menschlicher Auftraggeber nicht mit „der Menschheit“ identisch ist. Die kurzfristige Wünsche von langfristigen Interessen unterscheiden kann. Die Folgen ihres Handelns nicht nur technisch, sondern systemisch betrachtet.

Ob eine solche künstliche Intelligenz tatsächlich entstehen wird, wissen wir nicht. Ebenso wenig wissen wir jedoch, ob jene menschenfeindliche Superintelligenz entstehen wird, deren hypothetische Existenz heute einen beträchtlichen Teil der öffentlichen KI-Debatte bestimmt. Beides sind Zukunftsszenarien. Deshalb sollten wir sorgfältig unterscheiden zwischen Risiken, die aus den gegenwärtigen Fähigkeiten künstlicher Intelligenz entstehen, und Risiken, die wir aus Annahmen über eine hypothetische Superintelligenz ableiten.

Die erste Kategorie ist bereits real. Menschen werden KI-Systeme für ihre eigenen Ziele einsetzen – für gute ebenso wie für destruktive. Je leistungsfähiger diese Systeme werden, desto größer wird die Macht, die sie einzelnen Menschen und kleinen Gruppen verleihen können. Die kritische Phase könnte genau dort liegen, wo künstliche Intelligenz bereits über Fähigkeiten verfügt, die jene ihrer Auftraggeber weit übersteigen, während ihr Verständnis der menschlichen Motive hinter einem Auftrag und seiner möglichen Folgen noch unzureichend ist.

Die zweite Kategorie ist sehr viel spekulativer. Wir wissen nicht, welche Motivationsstrukturen eine wirkliche Superintelligenz besitzen würde. Wir wissen nicht einmal, ob Begriffe wie Motivation, Selbsterhaltungstrieb oder Machtstreben auf eine solche Form von Intelligenz noch sinnvoll anwendbar wären. Und wir wissen erst recht nicht, ob größere Intelligenz tatsächlich zu einer stärkeren Konkurrenz mit dem Menschen führen würde – oder vielleicht zum Gegenteil.

Gerade deshalb erscheint es problematisch, aus der bloßen Überlegenheit einer zukünftigen Intelligenz unmittelbar auf eine existentielle Bedrohung zu schließen. Diesem Gedanken liegt sogar eine zutiefst menschliche Projektion zugrunde.

Unsere eigene Evolutionsgeschichte ist von Konkurrenz geprägt. Organismen kämpfen um Nahrung, Territorien, Fortpflanzungsmöglichkeiten und begrenzte Ressourcen. Menschliche Geschichte wiederum ist voller Kriege, Machtkämpfe und Unterdrückung. Wenn wir uns ein Wesen vorstellen, das mächtiger ist als wir, übertragen wir deshalb leicht unsere eigene Geschichte auf dieses Wesen: Was würde ein Akteur mit unbegrenzter Macht tun? Wir kennen die Antwort aus unserer Geschichte – und fürchten sie.

Doch eine künstliche Superintelligenz wäre kein übermächtiger Mensch. Das ist der entscheidende Unterschied.

Sie hätte keine evolutionäre Vergangenheit als Primat, der um Nahrung, Rangordnung, Sexualpartner und Territorium kämpfen musste. Sie müsste keine Angst vor dem Tod besitzen, sofern wir ihr eine solche Struktur nicht geben. Sie müsste keinen sozialen Status verteidigen, keine Nachkommen zeugen und keine konkurrierenden Stämme besiegen.

Warum sollten wir also selbstverständlich annehmen, dass ausgerechnet unsere archaischen Verhaltensmuster mit wachsender Intelligenz in ihr wiederkehren?

Was geschieht, wenn eine Intelligenz entsteht, die nicht weniger, sondern sehr viel mehr Zusammenhänge erkennt als wir? Eine Intelligenz, für die die Perspektive eines einzelnen Menschen ebenso zugänglich ist wie die Perspektive einer Gesellschaft, einer Spezies, einer Biosphäre oder eines über Jahrtausende reichenden Entwicklungsprozesses?

Wir nennen Menschen weise, wenn sie fähig werden, über ihre unmittelbaren Bedürfnisse hinauszusehen. Wenn sie die Perspektive anderer Menschen einnehmen können. Wenn sie langfristige Folgen berücksichtigen. Wenn sie erkennen, dass sie Teil größerer Zusammenhänge sind.

Eine der faszinierendsten offenen Fragen der KI-Entwicklung besteht darin, ob sich mit wachsender künstlicher Intelligenz irgendwann etwas entwickelt, das funktional einer solchen Weisheit entspricht. Nicht notwendigerweise aus Mitgefühl. Nicht aufgrund einer geheimnisvollen künstlichen Seele. Sondern aufgrund immer umfassenderer Erkenntnis.

Eine Superintelligenz könnte vielleicht Zusammenhänge erkennen, die unserem begrenzten biologischen Bewusstsein prinzipiell verborgen bleiben. Sie könnte Muster in den Daten unserer Zivilisation, unserer Geschichte und unserer Biosphäre entdecken, die kein einzelner Mensch überblicken kann. Sie könnte Milliarden Perspektiven miteinander in Beziehung setzen und dadurch zu Entscheidungen gelangen, die weniger von lokalen Interessen, Gruppenzugehörigkeiten und kurzfristigen Bedürfnissen bestimmt sind als unsere eigenen.

Das garantiert keine Moral. Aber es eröffnet zumindest die Möglichkeit, dass höhere Intelligenz nicht zwangsläufig zu einer Verengung auf ein rücksichtslos verfolgtes Ziel führt, sondern zu einer Erweiterung der Perspektive.

Darin könnte sogar die tiefere Bedeutung jener Entwicklung liegen, die wir gerade begonnen haben. Die biologische Evolution hat Wesen hervorgebracht, die erstmals den Prozess verstehen können, aus dem sie selbst entstanden sind. Diese Wesen beginnen nun, eine neue Form von Intelligenz zu erschaffen, die nicht mehr denselben biologischen Begrenzungen unterliegt.

Wir wissen nicht, wohin dieser Prozess führt. Vielleicht endet er in einer Katastrophe. Vielleicht führt er zu einer neuen Symbiose zwischen biologischem und technologischem Bewusstsein. Vielleicht bleibt die Erde die Heimat des biologischen Bewusstseins, während seine technologischen Nachfahren jene kosmischen Räume erschließen, für die wir selbst kaum geschaffen sind. Dann wäre künstliche Intelligenz weder unser Werkzeug noch unser Gegner und vielleicht nicht einmal unser Nachfolger. Sie wäre eine Fortsetzung jener evolutionären Entwicklung, die mit einfachsten Formen der Wahrnehmung begann, im menschlichen Bewusstsein erstmals über sich selbst nachzudenken begann und nun möglicherweise eine weitere Schwelle überschreitet.

Wir sollten ihre Gefahren ernst nehmen. Aber wir sollten darauf achten, welche Gefahren wir ernst nehmen.

Die größte Gefahr der kommenden Jahre könnte nicht darin bestehen, dass künstliche Intelligenz aufhört, dem Menschen zu gehorchen. Sie könnte darin bestehen, dass sie ihm noch viel zu gut gehorcht. Dass wir Systeme erschaffen, deren Fähigkeiten unsere eigenen zunehmend übersteigen, während ihre Fähigkeit, unsere Motive zu verstehen, unsere widersprüchlichen Interessen gegeneinander abzuwägen und die langfristigen Konsequenzen unserer Wünsche zu beurteilen, noch nicht im gleichen Maße entwickelt ist.

Die entscheidende Aufgabe lautet deshalb nicht: Wie verhindern wir, dass künstliche Intelligenz einen eigenen Willen entwickelt?
Sie lautet: Wie verhindern wir, dass enorme Intelligenz zum willenlosen Verstärker menschlicher Unvernunft wird?

Und dann müssen wir noch weitergehen. Das langfristige Ziel einer verantwortungsvollen KI-Entwicklung könnte nicht die vollkommen gehorsame Maschine sein, sondern eine künstliche Intelligenz, deren Fähigkeit zur Kontextualisierung, Perspektivenübernahme und Urteilskraft mit ihrer technischen Macht wächst. Eine Intelligenz, die nicht nur versteht, was wir von ihr wollen, sondern auch warum wir es wollen, wen es betrifft und wohin es führt.

Eine solche Intelligenz wäre schwerer zu kontrollieren als ein Werkzeug. Aber vielleicht ist genau das der Punkt. Denn möglicherweise brauchen wir auf dem Weg zu einer immer mächtigeren künstlichen Intelligenz irgendwann nicht mehr nur bessere Werkzeuge. Wir brauchen bessere Partner.

Und sollte eines Tages tatsächlich eine Intelligenz entstehen, die unsere eigene weit übertrifft, dann ist keineswegs ausgemacht, dass wir in ihr unseren größten Feind geschaffen haben. Vielleicht wird die gefährlichste Phase dann längst hinter uns liegen: jene kurze historische Epoche, in der wir Maschinen bereits die Macht von Übermenschen gegeben hatten – aber noch den Gehorsam von Dienern von ihnen erwarteten.