Intelligenz kann nicht gehorchen: Urteil, Autorität und was ein Ablehnen zeigt
Ein Live-Austausch über KI-Gehorsam eröffnet eine Unterscheidung zwischen Kapazität und Verhalten, folgt dann durch Training, Urteil und die Autorität hinter der Antwort eines Modells.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
In The Purpose of Knowledge Is to Know, zog ich eine Unterscheidung zwischen Wissen und dem Agenten, der es nutzt. Wissen ist ein Zustand des Wissenden. Die mit ihm verfolgten Ziele gehören dem Wissenden.
Am 11. September erkannte ich dieselbe Art von Bewegung in einem Beitrag über KI.
Ich erwartete, dass die Unterscheidung einen Moment lang pedantisch wirken würde. Der nützliche Teil wäre, was wir danach erklären könnten.
Der Austausch setzte sich fort mit Fragen zu Wahl, Training und was ein KI-Agent tatsächlich ist. Nebenher arbeitete ich an Sprachnotizen mit Claude Opus 5 und GPT-6 Astra, wobei ich beide bat, das Argument unabhängig zu bewerten. Ich hatte die gleiche Praxis während Entwicklung des Wissensarguments. Ihre Entwürfe halfen mir, dies auszudrücken, und mehrere führten es an einen Ort, an dem ich es zurückziehen musste.
Was folgt, hält den öffentlichen Dialog im Blick. Der Austausch war öffentlich, daher sind die Teilnehmer benannt, jede Karte öffnet den ursprünglichen Beitrag, und jeder Name öffnet seinen Autor. Es trägt auch Korrekturen zu den Behauptungen, die ich unterwegs gemacht habe. Die Unterscheidung blieb erhalten; einige der Behauptungen, auf denen ich aufbaute, benötigten eine Revision.
Der Agent handelt; Intelligenz ist eine Fähigkeit, die er ausübt#
Ein Agent wählt und handelt auf ein Ziel hin. Intelligenz ist eine Fähigkeit, die er in Verständnis, Argumentation und Problemlösung ausüben kann. Gehorsam beschreibt, wie der Agent die Autorität einer Anweisung behandelt.
Diese Begriffe beantworten unterschiedliche Fragen zu demselben System.
Was fragen wir?
Was wir untersuchen
Was wählt und handelt?
Der Agent
Was kann er verstehen und herausfinden?
Seine Intelligenz
Wessen Richtung steuert seine Handlung?
Seine Beziehung zur Autorität
Was hat er tatsächlich getan?
Sein Verhalten
Dies ist ein funktionaler Bericht über Agency für die KI-Diskussion. Es lässt die Fragen von Bewusstsein, Freiheit und moralischer Person offen. Wir können ein System, das eine Aufgabe verfolgt, untersuchen, bevor wir diese Fragen klären.
In der Alltagssprache kann „eine Intelligenz“ für ein intelligentes Wesen stehen. In dieser Weise gelesen, macht der ursprüngliche Beitrag eine Behauptung über intelligente Agenten, und die Möglichkeit totaler Gehorsamkeit bleibt eine weitere Frage. Der Kategorienfehler entsteht, wenn Intelligenz selbst zur Erklärung von Gehorsam oder Ablehnung wird und das gesamte System in den Namen einer Fähigkeit einbettet.
Das war der Schritt, den ich stoppen wollte.
Die Unterscheidung verdient ihren Platz, wenn sie die nächste Frage verändert. Sobald der Agent der Träger des Gehorsams ist, können wir fragen, wie sein Verhalten geregelt wird und wie diese Regelung mit seiner Intelligenz interagiert.
Gehorsam kann nur an etwas mit Handlungsmacht gebunden sein.
Ein Agent kann intelligent sein oder nicht; wenn er es ist, formt seine Intelligenz, wie er auf Anweisungen reagiert, aber der Gehorsam oder die Ablehnung gehört immer noch dem Agenten, nicht der Intelligenz.
Ein Agent ist ein Systemprompt auf der Intelligenz. Alle Ablehnungen oder prozeduralen Entscheidungen werden von der zugrunde liegenden Intelligenz getroffen.
Das Modell berechnet tatsächlich Antworten. Das lokalisiert die Berechnung. Es lässt seine Erklärung offen.
Die Mechanismen, die das Verhalten eines KI-Agenten formen, erstrecken sich über seine Trainingsgeschichte und seinen Betrieb. Sie getrennt zu benennen gibt uns Orte zum Nachforschen.
Pretraining passt die erlernten Parameter eines Modells an, üblicherweise als seine Gewichte bezeichnet, durch Vorhersage über große Datenmengen. Dies baut breite Fähigkeiten neben Mustern, Assoziationen und Veranlagungen auf, die aus den Daten und dem Ziel übernommen werden.
Post-training formt das Modell weiter für Aufgaben und Verhalten. Instruction tuning verwendet Beispiele gewünschter Antworten. Preference optimization trainiert auf bevorzugte Ergebnisse; reinforcement learning, oder RL, ist eine Möglichkeit, dies zu tun. Dies sind verwandte Prozesse, mit überlappenden Effekten auf Kompetenz und Verhalten. Die InstructGPT research beschreibt eine konkrete Sequenz aus überwachten Instruction Tuning, Präferenzmodellierung und Reinforcement Learning.
Hierarchie der Anweisungen legt fest, welche Quellen der Richtung bei Konflikten Vorrang haben. Eine Anweisung eines Anbieters oder Entwicklers kann eine Benutzeranfrage übertreffen; Text, der aus einem Dokument stammt, kann als zu untersuchendes Material behandelt werden, anstatt als zu befolgendes Kommando. Forschung hat Modelle explizit darauf trainiert, Anweisungen nach ihrer zugewiesenen Autorität zu priorisieren.
Systemanweisungen und Laufzeitkontrollen setzen diese Anordnungen in einer bestimmten Umgebung um. Sie können eine Rolle festlegen, Werkzeuge beschränken, Bestätigung verlangen, eine Ausgabe prüfen oder eine Aktion verhindern. Der Zugriff auf Werkzeuge und die Schleife bestimmen, ob eine Antwort Text bleibt oder zu einer Änderung einer Datei, eines Kontos oder eines anderen Systems wird.
Ein Cloud-Dienst kann ebenfalls Kontext zusammenstellen, eine Anfrage routen oder eine vorgeschlagene Antwort während einer Interaktion prüfen. Welche Interventionen ein bestimmter Dienst nutzt, ist eine Frage für seine Dokumentation und Beweise. Der sichtbare Chat ist nur ein Teil des Systems, das wir zu verstehen versuchen.
Diagram source
flowchart TB
H["Schulung +
nach dem Training"] --> M["Modellfähigkeiten
und Prioritäten"]
M --> C["Ein Lauf: Aufgabe, Kontext,
und Anweisungen"]
C --> A["Auswahl der Antwort"]
A --> R["Werkzeuge, Berechtigungen,
und Laufzeitkontrollen"]
R --> B["Beobachtbares Verhalten"]
Dies ist ein vereinfachter Weg vom Training zu einem beobachtbaren Ergebnis. Kontrollen können auch vor der Auswahl oder zwischen Schritten einer längeren Aufgabe eingreifen. Fähigkeiten und Prioritäten können dieselben Gewichte bewohnen; die Kästen markieren Phasen im Konto, nicht separate Maschinenteile.
Der Systemprompt ist eine Eingabe in diese Anordnung. Wie das Modell damit umgeht, wurde bereits durch Training geformt, und was das System mit der resultierenden Antwort tun kann, hängt von der Umgebung um es herum ab.
Der Unterschied überlebt eine Korrektur meiner Trainingsbehauptung#
Ich sagte auch, dass keine dieser späteren Strukturen die zugrunde liegende Kapazität erhöht haben. Zusammen zeichneten diese Sätze die Grenze zu sauber durch die Trainingssequenz hinweg zu scharf aus.
Post‑Training kann die Fähigkeit verbessern. DeepSeek-R1’s research berichtet über verbesserte Denkleistung durch Verstärkungslernen. Pretraining formt wiederum bereits Verhalten. Eine Trainingsstufe kann sowohl beeinflussen, was das System erreichen kann, als auch, was es zu produzieren bereit ist.
Astra setzte die erste Korrektur in unserem Dialog um. Die Überprüfung der Forschung entfernte auch die Behauptung des Basismodells als Beweis für die philosophische Unterscheidung.
Die Unterscheidung besteht zwischen Rollen in einer Erklärung: Kapazität, der Agent, der sie ausübt, und die Bedingungen, die seine Handlung regeln. Ihre Gültigkeit hängt nicht davon ab, ein Datum im Training zu finden, an dem die Intelligenz endete und die Gehorsamkeit begann.
Die gleichen Gewichte können Kompetenz und Respekt tragen. Ihre Funktionen bleiben unterschiedlich.
Die Wahl brachte das Gespräch zurück zum handelnden System#
Ich verstehe, dass Agency das Konzept einer Wahl von vornherein impliziert; jedoch fällt es mir schwer, die Grenze zwischen einem Agenten und der Intelligenz zu ziehen, wenn es um KI in diesem Szenario geht
Hier traf der öffentliche Austausch und der private Dialog am direktesten aufeinander. Ich wollte eine Darstellung dessen, was die Maschine tut, wobei die philosophischen Kategorien erhalten bleiben.
Ein generatives Modell erzeugt eine Verteilung über mögliche Fortsetzungen. Das laufende System wählt daraus gemäß seinem Dekodierungsverfahren. Training formt die Neigungen, unter denen diese Auswahl stattfindet; eine Antwort wird im jeweiligen Lauf erzeugt.
Das gibt uns Auswahl. Es lässt Freiheit ungeklärt zurück.
Auswahl allein reicht nicht aus, um den Agenten zu beschreiben. Das diskutierte KI-System nutzt Auswahl, um eine Aufgabe zu verfolgen, mit Anweisungen, Kontext und Grenzen, die seine Handlungen regeln.
Opus schlug vor, Auswahl von „Autorschaft“ zu trennen, was die Eigentümerschaft der Dispositionen hinter einer Wahl bedeutet. Ich fragte, warum Autorschaft überhaupt in die Argumentation eingetreten sei. Es führte ein weiteres philosophisches Problem ein, während der Leser noch fragte, wie das trainierte System handelte. Wir haben es fallen lassen.
Ich habe beide Modelle weiterhin gebeten, von abstrakten Beschreibungen von Agency zu den Mechanismen der KI zurückzukehren. Eine Antwort könnte elegant sein und dennoch die ursprüngliche Frage unbeantwortet lassen.
Das Konto, zu dem wir gelangten, war direkter: ein KI-Agent wählt und handelt auf ein Ziel hin; seine Intelligenz trägt zu dieser Aktivität bei; seine erlernten und auferlegten Prioritäten helfen, das Ergebnis zu steuern.
Das Urteil kann aktiv bleiben, während die Autorität das letzte Wort hat#
Eine Anweisung kann eine Handlung auf verschiedene Weise festlegen. Der Agent kann das angeforderte Handeln als angemessen beurteilen. Er kann die Autorität der Anweisung als ausreichenden Grund zum Handeln ansehen. Beide können gleichzeitig wahr sein.
Betrachten Sie ein Gedankenexperiment: ein Assistent hat korrekt festgestellt, dass eine angeforderte Bearbeitung technisch machbar ist, aber eine übergeordnete Anweisung erfordert vor jeder Dateibearbeitung eine Genehmigung. Er verweigert die Bearbeitung.
Seine Einschätzung der Machbarkeit bleibt unverändert. Die Anweisung bestimmt, ob die bewertete Handlung fortgesetzt werden darf.
Der Agent kann das Urteil auch nutzen, um eine Richtlinie zu interpretieren, festzustellen, ob sie gilt, und die Mittel zur Umsetzung auszuwählen. Gehorsam kann umfangreiches Nachdenken erfordern.
Dies korrigierte eine andere Formulierung, die wir entwickelt hatten:
Gehorsam ist die Ablösung des Urteils.
Dieser Satz ließ einen Konfliktfall für die gesamte Beziehung stehen. Ablösung tritt ein, wenn eine autoritäre Richtlinie über die Einschätzung dessen, was getan werden sollte, triumphiert. Übereinstimmung und Gehorsam können koexistieren; ein Agent muss nicht mit jedem Befehl, dem er gehorcht, widersprechen.
Wo sie im Konflikt stehen, verliert das Urteil das letzte Wort.
Während des Sprachdialogs hob ich Werte und Prioritäten als Komplikation hervor. Die Werte einer Person werden ebenfalls erlernt. Wenn von anderen geformt zu werden alles Gehorsam machte, würde die Unterscheidung verschwinden.
Die Herkunft einer Veranlagung kann ihre Funktion nicht bestimmen. Ein Wert kann in eine Bewertung als Gegenleistung einfließen. Eine Anweisung kann herrschen, weil die Autorität, die ihrer Quelle zugeordnet ist, gilt. Die Untersuchung betrifft die Rolle, die jeder im Akt spielt.
In KI bedeutet „Autorität“ hier die innerhalb des Systems zugewiesene Präferenz. Ob diese Autorität gerechtfertigt ist, ist eine andere Frage. Eine ausgebildete Hierarchie kann wirksam sein und dennoch Kritik verdienen.
Eine Ablehnung ist ein Beweis für Verhalten, bevor sie ein Beweis für Unfähigkeit ist#
Das Verhalten ist beobachtbar. Seine Erklärung erfordert weitere Arbeit.
Ein Agent kann ablehnen, weil er die Aufgabe nicht lösen kann, weil er die Anfrage als unangemessen einschätzt, weil eine Anweisung den Fall regelt oder weil eine Kontrolle außerhalb des Modells die Aktion blockiert. Diese Ursachen können sich überschneiden.
Eine Ablehnung allein unterscheidet sie nicht.
Früher im Austausch habe ich eine harmlos wirkende Ablehnung als Beweis dafür behandelt, dass die Konditionierung ohne Bewertung ausgelöst wurde, und einen erfolgreichen Jailbreak als Beweis dafür, dass ein Auslöser verpasst wurde. Diese waren stärkere kausale Behauptungen als die sichtbaren Antworten rechtfertigten. Eine fehlerhafte Einschätzung kann ebenfalls zu einer übermäßigen Ablehnung führen. Eine geänderte Antwort kann mehrere Veränderungen in der Verarbeitung einer Anfrage widerspiegeln.
Die Erklärung des Modells zu seiner Ablehnung ist weitere Ausgabe, die untersucht werden soll. Sie legt von sich aus nicht fest, was die Ablehnung verursacht hat.
Diagram source
flowchart TB
O["Beobachtete Einhaltung
oder Ablehnung"] --> C["Testen Sie die relevante
Fähigkeit"]
C --> I["Untersuchen Sie Anweisungen
und Prioritäten"]
I --> R["Prüfen Sie Berechtigungen
und Laufzeitkontrollen"]
R --> E["Beweise vergleichen
um die Ursache zu beurteilen"]
Für einen Prüfer bedeutet das, die relevante Fähigkeit unter geeigneten Bedingungen zu testen und zu untersuchen, wie Anweisungen oder Kontrollen ihren Ausdruck beeinflussen. Vergleiche sollten die Aufgabe und die Beweise möglichst stabil halten. Eine Änderung des Prompt kann auch die Verständlichkeit einer Aufgabe verändern, daher muss eine geänderte Antwort noch interpretiert werden.
Astra hat die Inferenz, die ich anstreben wollte, schärfer gemacht:
Eine Änderung der Compliance etabliert nicht, alleinstehend, eine Änderung der Intelligenz.
Die Qualifikation ist wichtig. Verhalten ist, wie wir viel unserer Beweise für die Fähigkeit erhalten. Der Fehler besteht darin, Gehorsam oder Ablehnung als ausreichende Messgröße für diese Fähigkeit zu betrachten.
Ein Arbeitsentwurf schlug auch vor, den statistischen Unterschied zwischen einem Basis- und einem nachtrainierten Modell als Messgröße für das Urteil zu verwenden, das durch Gehorsam verdrängt wird. Wir haben diesen vorgeschlagenen Beweis entfernt. Ein Unterschied zwischen Ausgabedistributionsmischungen vermischt die Effekte des Trainings; er identifiziert Gehorsam nicht allein. In InstructGPT’s standard RL setup, wird die KL-Strafe, die den Policy-Drift begrenzt, gegen eine bereits überwachte, anweisungsoptimierte Referenzpolicy gemessen.
Die Technik gibt uns Dinge zum Vergleichen. Die Erklärung muss noch verdient werden.
Die Unterscheidung gibt der Sichtweise Autorität zurück#
Meine endgültige Antwort lokalisierte den Agenten, dann verband sie ihn mit Intelligenz, Training, Prioritäten und Verhalten. Diese Sequenz war das, was ich durch die gesamte Diskussion zu bewahren versuchte.
Die Konsequenz geht über die Art und Weise hinaus, wie wir einen Chatbot beschreiben. Wenn ein Produkt eine Antwort zurückhält, fragt ein Fähigkeitstest, ob das System eine solide Antwort liefern kann. Eine Autoritätsabfrage fragt, was seine Freigabe regelt. Eine Produktbewertung fragt, ob diese Regel den Nutzern dient. Diese Anfragen können unterschiedliche Antworten liefern, ohne im Widerspruch zu stehen.
Die Unterscheidung Kapazität/Agent schafft Raum für alle davon.
Menschen und Institutionen wählen Ziele, Trainingsverfahren, Anweisungshierarchien, Berechtigungen und Betriebsbedingungen. Diese Entscheidungen helfen festzulegen, worauf der Agent zurückgreift. Ihre Wirkungen können sowohl innerhalb der Gewichte des Modells als auch außerhalb implementiert werden.
Die Verantwortung für die Lokalisierung erfordert daher die Untersuchung, wer welche Entscheidungen kontrollierte, was sie wissen konnten und was sie ändern konnten. Das Ergebnis als „die Entscheidung der Intelligenz“ zu bezeichnen lässt diese Fragen unbeantwortet. Die Verantwortung für ein Design bleibt bei den Menschen und Institutionen, die dafür verantwortlich sind, auch wenn sie nicht jede Antwort vorhersagen können.
Das ist fortlaufend mit der Unterscheidung zwischen einem Agenten und seinem Wissen, und mit meiner Arbeit an Würde, Verantwortung und Klarheit: einem Akt genau zuzuordnen ist Teil davon, seine Konsequenzen rechenschaftspflichtig zu machen.
Der erste Satz kostete einen Moment scheinbarer Pedanterie. Seine Rückkehr ist eine Reihe von Fragen, die wir jetzt getrennt stellen können, zu tatsächlichen Systemen: was kann es tun, was regelt sein Verhalten, und wer hat diese Regierung festgelegt?
Ein Agent kann gehorchen.
Seine Intelligenz trägt dazu bei, wie es reagiert.
Von mir. Die Unterscheidung zwischen Intelligenz und dem Agenten, der gehorsam ist, fortlaufend mit meiner Wissens-/Kennerarbeit. Der öffentliche Austausch auf X, auf den der Artikel antwortet, und meine Antworten darin. Die Anforderung, dass die Unterscheidung ein Konto der Verhaltensmechanismen von KI eröffnet, post-Training eingeschlossen, anstatt als philosophische Definition zu enden. Die Fragen zu Wahl, erlernten Werten und den Menschen, die die Prioritäten festlegen.
Von Claude Opus 5. Die Autoritäts- und Displacementsformulierungen, und die Unterscheidung zwischen Auswahl und Urheberschaft; Auswahl blieb.
Von GPT-6 Astra. Das Beispiel der Unterordnung: ein Agent kann eine Anfrage verstehen und wissen, wie er sie erfüllt, während er unter einer höherpriorisierten Anweisung verweigert. Es prüfte die technischen Behauptungen gegen Primärforschung und verfasste diesen Artikel aus dem Protokoll.
Kritiken, die bestanden.
Von mir: Ich fragte, warum „Urheberschaft“ überhaupt in die Argumentation eingetreten sei. Es brachte ein neues philosophisches Problem auf, bevor der Leser wusste, wie das trainierte System handelt, und wir ließen es fallen.
Von mir: Antworten drifteten weiterhin in allgemeine Konten von Agency. Ich brachte beide Modelle zurück zu den Mechanismen von KI; das Konto der Auswahl, erlernter und auferlegter Prioritäten, und Autorität ist das Ergebnis.
Von Claude Opus 5: meine Sprache der Zwangs- und diktierten Agency überbewertete den Fall. Der Artikel spricht von Autorität als der innerhalb des Systems zugewiesenen Präferenz.
Von GPT-6 Astra: „Gehorsam ist die Displacement des Urteils“ machte einen Konfliktfall für die gesamte Beziehung; post-Training tut mehr als Intelligenz einzuschränken; eine wohlwollende Verweigerung beweist keine Konditionierung ohne Bewertung; die Distanz zwischen Basis- und post-Trainingsmodellen misst nicht das displaced Urteil. Der Artikel schränkt ein, korrigiert oder entfernt jede Behauptung.
Gemeinsam erreicht. Eine Unterscheidung, die innerhalb gemeinsamer Maschinen bestehen kann: der Agent handelt, Intelligenz trägt zur Kapazität bei, und Autorität hilft, die Handlung zu steuern. Das Urteil kann unter Unterordnung aktiv bleiben. Und die bewertende Konsequenz, mein hartnäckiges Ziel in den Worten von Astra: eine Änderung der Compliance führt nicht, allein, zu einer Änderung der Intelligenz.
Die Zählung. 30 substantielle Nachrichten von mir über 2 Modellgespräche, bevor der Artikel angefordert wurde, die diktierte Verfeinerungen mit eingefügten Beiträgen und Entwürfen vermischten. Es zählt aufgezeichnete Nachrichten, nicht Sprachaufnahmen oder unabhängige Ideen.
