Wer darf entscheiden, wann wir bereit sind?

Über künstliche Intelligenz, Verantwortung und die Legitimität des nächsten Schritts

Linz, September 2026.

ATTheEND heißt die diesjährige Linzer Klangwolke.

Der Titel lässt sich doppelt lesen. In ihm steckt at the end – am Ende. Und zugleich attend: anwesend sein, teilnehmen, Aufmerksamkeit schenken.

Wenige Tage später steht die Ars Electronica unter dem Motto Negotiating Humanity.

Ende und Anwesenheit. Grenze und Aushandlung.

Beides trifft auf eine Zeit, in der künstliche Intelligenz die Grenze des technisch Möglichen mit hoher Geschwindigkeit verschiebt. Eine Entwicklung, die inzwischen auch jene beschäftigt, die selbst an ihrer Spitze arbeiten.

Damit stellt sich eine Frage, die zunächst technisch klingt und längst über Technik hinausweist:

Wer darf entscheiden, wann wir bereit für den nächsten Schritt sind?

Der nächste Schritt

Dario Amodei, Mitgründer und CEO von Anthropic, hat diese Frage in seinem Essay We Must Pace the Frontier auf eine bemerkenswerte Weise zugespitzt.

Seine Position ist keine Absage an technologischen Fortschritt. Im Gegenteil. Amodei verbindet mit künstlicher Intelligenz große Hoffnungen auf medizinische Fortschritte, wirtschaftliche Entwicklung und eine Verbesserung menschlicher Lebensbedingungen.

Zugleich kommt er zu dem Schluss, dass die Fähigkeiten besonders leistungsfähiger KI-Systeme inzwischen schneller wachsen könnten als unsere Möglichkeiten, diese Systeme zu verstehen, abzusichern und zu kontrollieren.

Seine Konsequenz nennt er pacing: nicht Stillstand, sondern ein Entwicklungstempo, bei dem Sicherheitsforschung, Evaluation und Kontrollfähigkeit mit den technischen Möglichkeiten Schritt halten können.

Die wenigen Unternehmen, die an dieser technologischen Grenze arbeiten – häufig als Frontier-Unternehmen bezeichnet –, entwickeln dabei nicht einfach neue Produkte. Sie verschieben die Grenze dessen, was technisch möglich wird.

Und genau darin liegt ein Governance-Problem.

Diese Unternehmen verfügen über das größte technische Wissen, enorme Recheninfrastruktur, erhebliche finanzielle Ressourcen – und über die Fähigkeit, den nächsten Entwicklungsschritt tatsächlich zu vollziehen.

Damit besitzen sie faktisch auch einen erheblichen Teil der Macht darüber, wann dieser Schritt gegangen wird.

Amodei will diese Macht nicht unkontrolliert lassen. Er schlägt unter anderem Schwellen vor: Erreichen Modelle bestimmte Fähigkeiten, sollen dazu passende Sicherheitsanforderungen nachgewiesen werden, bevor weitere Entwicklungsschritte erfolgen.

Das ist ein wichtiger Gedanke.

Doch er führt unmittelbar zu einer schwierigeren Frage:

Wer entscheidet darüber, wann diese Voraussetzungen erfüllt sind?

Denn das Wissen um ein Risiko legitimiert noch nicht dazu, es einzugehen.

Wenn Macht Verantwortung verändert

Hans Jonas hat diese Verschiebung lange vor der heutigen KI-Debatte beschrieben.

Moderne Technik, so ein Grundgedanke seines Prinzips Verantwortung, erweitert die räumliche und zeitliche Reichweite menschlichen Handelns – und damit auch die Verantwortung für seine Folgen. Wo Entscheidungen Bedingungen schaffen können, die sich kaum zurücknehmen lassen, genügt es nicht mehr, nur auf bereits eingetretene oder sicher nachweisbare Schäden zu reagieren.

Für die heutige KI-Entwicklung lässt sich daraus zuspitzen:

Nicht die Gesellschaft muss beweisen, dass der nächste Schritt gefährlich ist. Derjenige, der ihn gehen will, muss zeigen können, dass er verantwortbar ist.

Das ist kein Satz von Jonas. Es ist eine Weiterführung seiner Verantwortungslogik unter den Bedingungen einer Technologie, deren mögliche Reichweite weit über jene hinausgeht, die sie entwickeln.

Doch auch damit ist die entscheidende Frage noch nicht beantwortet.

Verantwortung und Legitimation sind nicht dasselbe.

Ein Unternehmen kann Risiken außerordentlich ernst nehmen. Ein CEO kann verantwortungsvoll handeln wollen. Ein Safety-Team kann nach bestem Wissen prüfen.

Und trotzdem bleibt die Frage:

Woher kommt das Recht, dieses Risiko auch für andere einzugehen?

Genau hier wird aus einer Frage verantwortlichen Handelns eine Frage der Governance.

ATTEND – wer sitzt am Tisch?

Damit gewinnt die zweite Lesart von ATTheEND eine politische Bedeutung.

Attend.

Anwesend sein. Teilnehmen.

Wer ist anwesend, wenn über Technologien entschieden wird, deren Folgen weit über ihre Entwickler hinausreichen?

Diejenigen, die an Frontier-Modellen arbeiten, sind anwesend. Kapitalgeber sind zumindest mittelbar anwesend. Regierungen werden zunehmend anwesend. Regulierungsbehörden und Sicherheitsforscher:innen versuchen, ihren Platz am Tisch einzunehmen.

Viele jener Menschen aber, deren Arbeitswelt, Informationsordnung, politische Öffentlichkeit oder soziale Beziehungen sich durch diese Systeme verändern können, sitzen dort nicht.

Manche können dort gar nicht sitzen.

Zukünftige Generationen können weder zustimmen noch widersprechen. Sie können keine Ordnung zurückweisen, die wir ihnen hinterlassen.

Technologische Entscheidungen großer Reichweite besitzen damit eine eigentümliche Struktur:

Wenige können handeln. Sehr viele können betroffen sein. Und ein Teil der Betroffenen kann prinzipiell nicht teilnehmen.

Die Abwesenden verschwinden dadurch nicht aus der Verantwortung.

Ihre Abwesenheit verschärft vielmehr die Frage nach der Legitimität der Entscheidung.

Governance beginnt dort, wo jemand Nein sagen kann

Amodeis Vorschlag sogenannter embedded evaluators ist auch deshalb interessant.

Unabhängige externe Prüfer:innen sollen nicht erst ein fertiges Modell betrachten, sondern dauerhaften Einblick in Entwicklungsprozesse, Sicherheitspraktiken und relevante Vorfälle erhalten. Anthropic will ihnen darüber hinaus ermöglichen, wesentliche Befunde grundsätzlich unabhängig zu veröffentlichen.

Darin steckt eine wichtige Governance-Idee:

Eine Organisation sollte nicht zugleich Entwickler, Risikodefinierer, Prüfer und letzte Instanz ihrer eigenen Sicherheit sein.

Aber auch unabhängige Prüfer:innen lösen das Legitimationsproblem nicht.

Sie können feststellen, ob Sicherheitsanforderungen eingehalten werden. Sie können Risiken sichtbar machen. Sie können einer Einschätzung des Unternehmens widersprechen.

Was sie nicht allein beantworten können, ist die Frage:

Dieses verbleibende Risiko darf die Gesellschaft tragen.

Prüfen ist nicht legitimieren.

Zugleich verfügt keine der denkbaren Instanzen allein über genügend Wissen, Unabhängigkeit und Legitimation.

Das Unternehmen kennt seine Systeme am besten – hat aber eigene Interessen.

Externe Expert:innen können unabhängiger sein – besitzen aber nur begrenzte demokratische Legitimation.

Politische Institutionen besitzen diese Legitimation eher – verfügen aber nicht über dieselbe technische Nähe und verfolgen ihrerseits politische und geopolitische Interessen.

Die Öffentlichkeit ist demokratisch unverzichtbar – kann hochkomplexe technische Risiken aber nicht unmittelbar selbst evaluieren.

Vielleicht ist deshalb bereits die Frage „Wer entscheidet?“ falsch gestellt.

Entscheidend wäre vielmehr:

Wie muss eine Ordnung beschaffen sein, damit niemand allein entscheiden kann?

Europa hat begonnen, Entscheidungsmacht zu verteilen

Ganz ohne institutionelle Antwort stehen wir dabei nicht da.

Der europäische AI Act enthält bereits Elemente einer Governance, die Kontrolle nicht allein den Entwicklern überlässt.

Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko müssen ihre Modelle evaluieren, systemische Risiken bewerten und mindern, schwerwiegende Vorfälle melden und ein angemessenes Maß an Cybersicherheit gewährleisten.

Für die Aufsicht über diese Pflichten besitzt die Europäische Kommission weitreichende Befugnisse, die sie über das AI Office wahrnimmt. Sie kann Informationen und Dokumentation verlangen, Evaluationen von Modellen veranlassen und bei schwerwiegenden systemischen Risiken Maßnahmen zur Risikominderung durchsetzen.

Auch die institutionelle Architektur ist bemerkenswert.

Ein Scientific Panel unabhängiger Expert:innen kann vor systemischen Risiken warnen und die wissenschaftlich-technische Bewertung solcher Modelle unterstützen. Ein Advisory Forum bringt Perspektiven aus Wissenschaft, Zivilgesellschaft und Wirtschaft in die europäische KI-Governance ein.

Darin steckt bereits eine wichtige Einsicht:

Diejenigen, die eine Technologie entwickeln, sollen nicht allein darüber befinden, ob ihre Risiken beherrschbar sind.

Der AI Act trennt Entwicklung, wissenschaftliche Beobachtung, Beratung und staatliche Aufsicht zumindest teilweise voneinander.

Gerade daran lässt sich aber auch erkennen, wo die nächste Frage beginnt.

Ein wissenschaftliches Gremium kann Risiken beurteilen. Ein Beratungsforum kann Perspektiven einbringen. Eine Behörde kann Anforderungen durchsetzen.

Damit ist noch nicht beantwortet:

Soll eine technisch beherrschbare Fähigkeit überhaupt Teil unserer gesellschaftlichen Wirklichkeit werden?

Prüfung ist noch keine gesellschaftliche Zustimmung.

Regulatorische Konformität beantwortet noch nicht die Frage nach Wünschbarkeit.

Der AI Act entwickelt weitreichende Antworten darauf, wie bestimmte Risiken beherrscht werden sollen.

Die weitergehende Frage lautet:

Welche technologischen Veränderungen wollen wir überhaupt hervorbringen – und wer ist legitimiert, darüber zu entscheiden?

Keine neue Instanz, sondern eine andere Ordnung

Wenn kein einzelner Akteur genügend Wissen, Unabhängigkeit und Legitimation besitzt, wäre es wenig überzeugend, lediglich nach einer neuen Instanz zu suchen, die künftig anstelle der Unternehmen entscheidet.

Governance wäre dann nicht die Suche nach einem neuen technologischen Souverän.

Sie wäre eine Architektur wechselseitiger Begrenzung.

Entwickler verfügen über unverzichtbares Wissen und können neue Möglichkeiten erschließen. Aber sie müssen offenlegen.

Unabhängige Stellen müssen prüfen können.

Politisch legitimierte Institutionen müssen Grenzen und Schwellen setzen.

Wissenschaftlicher Widerspruch muss sichtbar bleiben.

Betroffene gesellschaftliche Bereiche müssen dort beteiligt werden, wo aus technischer Möglichkeit gesellschaftliche Wirklichkeit wird.

Und Interessen jener, die selbst nicht teilnehmen können, dürfen nicht schon deshalb verschwinden.

Das bedeutet nicht, dass alle über alles entscheiden sollen.

Über die technische Qualität eines Modells lässt sich nicht sinnvoll gesellschaftlich abstimmen. Expertise bleibt unverzichtbar.

Legitimität verlangt etwas anderes:

Sie verlangt nicht, dass alle über alles entscheiden. Sie verlangt, dass niemand über das Ganze entscheiden kann, während entscheidungsrelevante Perspektiven systematisch abwesend bleiben.

Nein. Noch nicht. Nur wenn.

Auch das Nein einer solchen Governance müsste differenzierter sein als die Alternative zwischen Freigabe und Verbot.

Es braucht mindestens drei Möglichkeiten.

Nein.
Dieser Schritt ist unter den gegebenen Bedingungen nicht vertretbar.

Noch nicht.
Das Wissen reicht nicht aus oder notwendige Voraussetzungen fehlen.

Nur wenn.
Der Schritt bleibt an überprüfbare Bedingungen gebunden.

Gerade das Noch nicht verbindet Governance mit Amodeis Gedanken des pacing.

Zeit wird dabei selbst zu einem Instrument der Verantwortung.

Nicht deshalb, weil Langsamkeit an sich besser wäre.

Sondern weil zusätzliche Zeit genutzt werden kann, um Wissen zu erweitern, Sicherheitsverfahren zu verbessern, unabhängige Prüfung zu ermöglichen und gesellschaftliche Folgen sichtbar zu machen.

Der nächste Schritt wird nicht legitim, weil genügend Zeit vergangen ist.

Zeit gewinnt ihren Wert erst dadurch, dass sie die Voraussetzungen verantwortbaren Entscheidens verändert.

Auch das Nichtwissen muss am Tisch sitzen

Doch selbst die beste Prüfarchitektur beseitigt Unsicherheit nicht.

Es bleibt die Frage:

Was wissen wir nicht?

Welche Annahmen könnten falsch sein?

Welche Entwicklungen haben wir nicht vorausgesehen?

Und was geschieht, wenn wir uns irren?

Gerade dort, wo Folgen schwer reversibel wären, besitzt dieses Nichtwissen selbst Entscheidungsrelevanz.

Hier lässt sich Jonas' „Heuristik der Furcht“ aktualisieren, ohne daraus Technikangst zu machen.

Nicht Angst soll entscheiden.

Aber die Möglichkeit unseres Irrtums muss in der Entscheidung vorkommen.

Epistemische Bescheidenheit wäre dann nicht bloß eine persönliche Haltung einzelner Forschender. Sie müsste zu einem institutionellen Prinzip werden.

Verfahren müssten nicht nur sichtbar machen, was als gesichert gilt, sondern ebenso, wo Unsicherheit besteht, wo Expert:innen widersprechen und welche Annahmen eine Entscheidung tragen.

Nichtwissen verschwindet nicht dadurch, dass entschieden werden muss.

Daraus lässt sich ein Grundsatz ableiten:

Je größer die mögliche Irreversibilität einer Entscheidung und je geringer unser Wissen über ihre Folgen, desto höher muss die Legitimitätsschwelle für diese Entscheidung sein.

Das fordert keine Gewissheit.

Gewissheit wird es bei Entscheidungen dieser Art nicht geben.

Es fordert etwas anderes: Verfahren, die Unsicherheit nicht in Sicherheit umdeuten, nur weil der nächste Schritt technisch möglich geworden ist.

Können. Verantworten. Wollen.

Damit zurück zur Ars Electronica.

Negotiating Humanity.

Menschsein verhandeln.

Das lässt sich als Frage lesen, welche Tätigkeiten künftig Menschen ausüben, welche Maschinen übernehmen oder wie sich Kreativität, Arbeit und Autonomie unter veränderten technologischen Bedingungen verändern.

Doch die Aushandlung beginnt früher.

Wir sollten drei Fragen auseinanderhalten.

Können wir es?

Das ist die Frage der technischen Möglichkeit.

Können wir es verantworten?

Das ist die Frage von Sicherheit, Kontrolle, Risiko und Folgen.

Wollen wir es?

Das ist eine gesellschaftliche und politische Frage.

Diese Fragen verlangen unterschiedliche Formen des Entscheidens.

Ob ein Modell eine bestimmte Fähigkeit besitzt, ist keine Frage gesellschaftlicher Mehrheitsentscheidung.

Ob eine Risikoeinschätzung technisch belastbar ist, verlangt Expertise.

Aber ob wir eine Gesellschaft wollen, in der bestimmte Entscheidungen an autonome Systeme delegiert, bestimmte menschliche Tätigkeiten ersetzt oder bestimmte Formen von Macht technisch konzentriert werden, kann keine technische Evaluation für uns beantworten.

Ein System kann technisch machbar sein.

Es kann regulatorische Sicherheitsanforderungen erfüllen.

Und trotzdem kann eine Gesellschaft entscheiden, eine bestimmte Anwendung oder Entwicklung nicht zu wollen.

Technische Sicherheit beantwortet keine politische Frage nach Wünschbarkeit.

Hier erhält Negotiating Humanity seine eigentliche Schärfe.

Denn wir verhandeln längst über Bedingungen unseres zukünftigen Menschseins.

Nur ist noch keineswegs geklärt, wer an dieser Verhandlung teilnehmen darf.

Ein erheblicher Teil dieser Aushandlung findet heute faktisch in Forschungslabors, Unternehmen und staatlichen Institutionen statt.

Nicht weil dort jemand beschlossen hätte, die übrige Gesellschaft auszuschließen.

Sondern weil technologische Handlungsmacht schneller gewachsen ist als unsere Verfahren, diese Macht gesellschaftlich zu legitimieren und zu begrenzen.

Vielleicht liegt hier die eigentliche Frontier.

Nicht in der nächsten technischen Leistungsgrenze.

Sondern in der Grenze unserer institutionellen Fähigkeit, mit technologischer Macht umzugehen.

ATTheEND

Am Ende führt der Weg wieder nach Linz.

ATTheEND.

Darin steckt ein Ende.

Nicht das Ende künstlicher Intelligenz.

Nicht das Ende des Menschen.

Aber vielleicht das Ende einer Vorstellung von Fortschritt, nach der technisches Können genügt, um den nächsten Schritt zu rechtfertigen.

Und im selben Wort steckt eine Aufforderung:

attend.

Sei anwesend.

Nimm teil.

Schenke Aufmerksamkeit.

Wenn wir tatsächlich beginnen, Humanity neu auszuhandeln, wird genau das zur politischen Frage:

Wer sitzt am Tisch? Wer kann wirksam widersprechen? Und wer vertritt jene, die nicht anwesend sein können, obwohl sie die Folgen tragen werden?

Vielleicht lautet die entscheidende Frage deshalb nicht mehr:

Wann sind wir bereit für den nächsten Schritt?

Sondern:

Unter welchen Bedingungen kann dieser nächste Schritt legitim sein, obwohl unser Wissen unvollständig, seine Folgen unsicher und nicht alle Betroffenen anwesend sein können?

Die Herausforderung künstlicher Intelligenz liegt dann nicht allein darin, ob ihre Systeme für den nächsten Schritt bereit sind.

Sie liegt darin, ob wir Formen des Entscheidens entwickeln, die der Macht dieses nächsten Schritts gewachsen sind.