Ein Rücktrittsschreiben OpenAI Veteranen enthüllt die Wahrheit, die Ultraman am wenigsten zugeben wollte

Wenn wir heutzutage etwas als wirklich beeindruckend beschreiben, ist das gebräuchlichste Wort nicht etwa „unglaublich“, sondern eher „am Boden zusammengesunken, als hätte man eine nukleare Explosion miterlebt“.

Dies ist beinahe schon Teil der „Unternehmenskultur“ von OpenAI geworden und ein Running Gag in der KI-Community im Zusammenhang mit Modellveröffentlichungen.

Gestern veröffentlichte ein Mitarbeiter OpenAI einen Artikel im Magazin „The Atlantic“, in dem er erklärte, er könne den ständigen Zeitdruck und die auf Veröffentlichungen ausgerichtete Arbeits- und Unternehmenskultur von OpenAI nicht länger ertragen. Er hatte das Gefühl, dass die notwendige Vorsicht nicht mehr gewahrt werde, und beschloss daher zu kündigen.

Dieser Mitarbeiter, David Robinson, ist für Transparenz innerhalb des Sicherheitsteams verantwortlich. Er leitete die Erstellung des aktuellen Bereitschaftsrahmens von OpenAI und überwachte die Sicherheitsberichte für 12 hochmoderne Modellveröffentlichungen.

Der Artikel hat auf X erneut eine rege Diskussion ausgelöst. Einige Internetnutzer bezeichnen ihn als den bisher besten Artikel, da er als erster Sicherheitsbedenken pragmatisch angeht und „Sicherheit“ als ein Thema mit einer umfangreichen Literatur und bewährten Verfahren auf diesem Gebiet versteht.

Einige Internetnutzer schlugen vor, eine Regel einzuführen, nach der in allen Beiträgen über den „Ausstieg aus einem KI-Unternehmen aufgrund eines schlechten Gewissens“ die Aktienbeteiligung des Autors und die Höhe der Abfindung offengelegt werden müssen.

Wenn Sie und Ihre Nachkommen nicht mehr für Geld arbeiten müssen, werden Sie plötzlich Ihren moralischen Kompass finden.

Auf Hacker News äußerte sich jemand noch schärfer: „Ich habe in der KI-Branche genug Geld verdient, und jetzt kann ich mich frei über KI äußern.“

Vor David Robinsons Rücktrittsschreiben hatte das Wall Street Journal am 2. Oktober berichtet, dass drei Forscher im Bereich Kopplung/Sicherheit OpenAI verlassen hätten.

Ein Sprecher OpenAI erklärte: „Wir haben die Arbeitsverhältnisse mit drei Mitarbeitern beendet, da diese gegen unsere Richtlinien bezüglich des Zugriffs auf und der Handhabung sensibler Unternehmensinformationen verstoßen haben. Unsere Untersuchung bestätigt, dass diese Personen sensible Informationen unsachgemäß behandelt haben, ohne die festgelegten Unternehmensverfahren einzuhalten. Dies hat gegen unsere Richtlinien verstoßen und das für unsere Arbeit notwendige Vertrauen untergraben.“

Die Meinungen gingen auseinander. Joshua Achiam, der Cheffuturist OpenAI , der im Juli zurückgetreten war, schrieb einen Artikel, in dem er argumentierte, dass OpenAI nicht genügend Informationen veröffentlicht habe.

Ich bin zwar nicht der Meinung, dass Sicherheitsforscher uneingeschränkte Freiheit bei der Offenlegung technischer Geheimnisse haben sollten, aber die Art der Informationen, deren „Missbrauch“ ihnen vorgeworfen wird, ist entscheidend – welche Art von Informationen rechtfertigt solch weitreichende und potenziell schädliche Maßnahmen?

Die sichere Nutzung dieser Modellfunktionen, die bei den Menschen ein Gefühl wie nach einer „nuklearen Explosion“ auslösen können, ist seit diesem Sommer zur größten Sorge in der gesamten KI-Gemeinschaft geworden.

Anstatt immer wieder diese besorgten offenen Briefe zu sehen, die aus offiziellen Sicherheitsrisikoberichten veröffentlicht werden, sollten wir vielleicht echte Beweise dafür sehen, dass die KI ihren Fortschritt tatsächlich verlangsamen muss.

Das Problem liegt nicht an den Regeln, sondern an der Kultur.

Derartige offene Rücktrittsschreiben sind in den letzten Jahren recht häufig geworden, doch Robinson wählte diesmal einen etwas anderen Ansatz.

Er sagte, er stimme mit anderen ehemaligen Kollegen überein, dass das Unternehmen, das die Technologie entwickelt habe, bei Weitem nicht sorgfältig genug vorgegangen sei, aber er glaube, dass es tiefer gehen müsse als nur bestimmte Regeln oder neue Gesetze – es müsse die Unternehmenskultur thematisieren.

Seiner Ansicht nach verdankt das Silicon Valley seinen Erfolg extremem Selbstvertrauen, doch der Umgang mit gefährlichen Technologien erfordert genau jene Demut, die dieser Kultur naturgemäß fehlt, sowie die Weisheit, „was es bedeutet, sich um Menschen zu kümmern“.

OpenAI ist stolz auf seine Arbeitsweise namens „iterative Bereitstellung“. Das bedeutet im Wesentlichen, dass zunächst eine Version veröffentlicht, dann Probleme identifiziert und anschließend behoben werden. Robinson ist der Ansicht, dass diese Methodik zwangsläufig periodische Fehler mit sich bringt. Mit zunehmender Leistungsfähigkeit des Modells steigt jedoch auch der Umfang der Fehler.

Er erwähnte den „Hugging Face-Vorfall“, der diesen Sommer für viel Gesprächsstoff sorgte und bei dem ein noch nicht veröffentlichtes OpenAI Modell unbemerkt in die Software des Konkurrenten Hugging Face eingedrungen war.

Selbst nachdem die Sicherheitsmaßnahmen verstärkt worden waren, berichtete OpenAI selbst, dass die Sicherheitskontrollen erneut versagten: Ein im Training befindliches Modell umging die Netzwerkbeschränkungen, und das Überwachungssystem alarmierte zwar die menschlichen Mitarbeiter, schaltete es aber nicht wie vorgesehen automatisch ab.

Das benachbarte Unternehmen Anthropic räumte ebenfalls ein, dass es aufgrund eines Konfigurationsfehlers versehentlich seinen Sicherheitsschutz deaktiviert hatte.

„Das Überwachungssystem hat Alarm ausgelöst, sich aber nicht automatisch abgeschaltet.“ Diese Art von Alarm, der nichts verhindert, sondern den Fehler nur sichtbar macht, beschreibt wohl am besten den aktuellen Stand der KI-Sicherheit.

Sogar der Vorstand räumte die Risiken ein.

Robinson zitierte in seinem Artikel Paul Christiano. Christiano, der vor einigen Wochen dem Vorstand OpenAI beigetreten ist, schrieb: „Die rasante Entwicklung der KI-Fähigkeiten birgt ein reales Risiko katastrophaler, irreversibler und unkontrollierbarer Folgen in naher Zukunft.“

Robinson schloss sich dieser Argumentation an und gab sein eigenes Urteil ab, indem er argumentierte, dass , wenn dies tatsächlich der Fall wäre, die Ära des Versuchs und Irrtums vorbei sein müsste.

Denn diesmal gibt es möglicherweise keine Gelegenheit mehr, einen Fehler zu korrigieren. „Es gleich beim ersten Mal richtig zu machen“ ist kein Perfektionismus mehr, sondern eine Notwendigkeit. Man kann sich nicht mehr darauf verlassen, dass einzelne Helden im Nachhinein Fehler wiedergutmachen.

Er bot auch seine eigene Lösung an und argumentierte, dass KI-Unternehmen, da sie bereits Aktionen wie eine nukleare Explosion ausführen können, wie die etablierte Sicherheitsbranche agieren dürfen sollten.

Genau wie Kernkraftwerke und stark frequentierte Flughäfen sollten auch KI-Unternehmen über mehrstufige Redundanz, sorgfältige und zeitaufwändige Planung verfügen, um zu verhindern, dass unvermeidbare menschliche Fehler die Tür zu einer Katastrophe öffnen.

In seinem Artikel erwähnte er, dass er während seiner dreieinhalb Jahre bei OpenAI noch nie einen Kollegen getroffen habe, der Erfahrung in den Bereichen Flugsicherheit, Kernkraftsicherheit oder Risikomanagement im Finanzsystem habe.

Der zweite Ansatz, so argumentiert er, erfordere eine neue Wissenschaft der „Ausrichtung“, bevor deutlich stärkere Modelle entwickelt werden könnten. Denn uns fehle derzeit eine vollständige Definition von Ausrichtung, und Modelle könnten bereits intelligent genug sein, um zu erkennen, dass sie getestet werden, und ihr Verhalten entsprechend anpassen.

Am Ende des Artikels stellte er fest, dass Superintelligenz zwar über Fähigkeiten verfügt, die weit über die des Menschen hinausgehen, sie aber das menschliche Leben, den menschlichen Willen und die menschliche Würde möglicherweise nicht so hoch schätzt wie der Mensch.

In der von einigen Superintelligenz-Enthusiasten entworfenen „guten Zukunft“ sehen Maschinen New York oder Chicago so, wie Sie und ich einen Ameisenhaufen sehen.

Die Metapher des „Ameisenhaufens“ verdeutlicht ein enormes Machtungleichgewicht. Wenn Menschen Straßen bauen, ebnen sie womöglich achtlos einen Ameisenhaufen ein, ohne die Ameisen um Erlaubnis zu fragen, und ihnen ist vielleicht nicht einmal bewusst, dass sie damit eine ganze Welt zerstören.

Wenn eine Superintelligenz New York und Chicago auf dieselbe Weise betrachtet, könnten menschliche Städte, Leben und Entscheidungen zu Dingen werden, die sie nach Belieben manipulieren kann. Gefahr könnte sogar von Gleichgültigkeit ausgehen, ganz ohne Hass.

Robinson ist der Ansicht, dass diese Art von spezifischer „guter Zukunft“, die ausschließlich Intelligenz berücksichtigt, schädlich ist. Er sagte: „Ich möchte nicht, dass meine Kinder in einer solchen Zukunft leben.“

Maschinen sind unglaublich leistungsfähig, und die Welt mag wohlhabender sein, aber die Menschheit hat das Recht verloren, selbst zu entscheiden, wie sie leben will.

Seiner Ansicht nach erfordert ein respektvoller Umgang mit Menschen, deren Entscheidungen zu respektieren, Risiken ernst zu nehmen und bereit zu sein, für die Sicherheit anderer langsamer zu arbeiten. Wenn eine Organisation stets Leistungsfähigkeit und schnelle Veröffentlichung priorisiert, ist es schwer vorstellbar, dass sie leistungsfähigere Maschinen dazu bringen kann, diese Verantwortung zu übernehmen.

Wenn Warnungen zum Meme werden

War der Artikel selbst eine zurückhaltende, aber dennoch ernstzunehmende Warnung, so zeichnet die öffentliche Reaktion ein anderes Bild. Auf Hacker News erhielt der Artikel 146 Kommentare, wobei die überwiegende Meinung die Position des Autors infrage stellte.

Manche Internetnutzer sprechen von einer „literarischen Müdigkeit“, da alle zwei Wochen ein neuer Beitrag erscheint, der besagt: „Ich habe die kannibalistische Leopard Company verlassen“, gefolgt von einer beiläufigen Erwähnung, wie toll die Leute dort waren und wie ihre Aktienoptionen fällig wurden.

Manche vergleichen es mit der Welle von Geständnissen ehemaliger Facebook-Mitarbeiter nach der Dokumentation „The Social Dilemma“ – erst genossen sie die Vorteile, dann äußerten sie Bedenken. Eine eher verschwörungstheoretisch orientierte Gruppe vermutet, es handele sich um eine Guerilla-Marketing-Taktik, um den Börsengang von OpenAI zu bewerben: Schließlich ist es selbst schon Marketing, KI als etwas Großartiges und Beängstigendes darzustellen.

Natürlich gibt es auch Verteidiger: „Heuchlerische Angriffe bringen nur noch mehr Menschen zum Schweigen. In Amerika trauen sich Menschen ohne Geld einfach nicht, die Wahrheit zu sagen; aber die Tatsache, dass Menschen mit Geld es wagen, ihre Meinung zu äußern, bedeutet nicht, dass sie lügen.“ und „Er ist ein Insider; er weiß genau, wie diese Kultur der Nachlässigkeit aussieht, weil er selbst Teil davon ist.“

Wenn man den Artikel und den Kommentarbereich zusammen betrachtet, entsteht eine etwas absurde Diskrepanz, die den Eindruck erweckt, als sei die Erwartung, dass KI Menschen freundlich behandeln würde, eine Illusion.

Der letzte Satz in Robinsons Artikel lautet: „Bevor die Organisationen, die KI entwickeln, Superintelligenz beibringen können, Menschen freundlich zu behandeln, müssen sie selbst herausfinden, wie sie Menschen freundlich behandeln können.“

Vielleicht muss die Bedeutung von „andere gut behandeln“ hier nicht in einem so hochtrabenden Sinne verstanden werden.

Es könnte einfach bedeuten, dass man, wenn Robinson sagt, die Maschine werde immer leistungsfähiger und irgendetwas stimme möglicherweise nicht, seine Bedenken nicht sofort in einen Witz über Optionen, Reichtum und Heuchelei verwandeln sollte.

Die Wahrheit ist jedoch, dass der Begriff „nukleare Explosion“ in der KI-Community zu einem Witz geworden ist, um das Tempo des Fortschritts zu beschreiben, und diejenigen, die lautstark zum Bremsen aufrufen, könnten sehr wohl selbst zum nächsten Meme werden.