L'intelligenza non può obbedire: giudizio, autorità e ciò che un rifiuto mostra
Un confronto dal vivo sull'obbedienza dell'IA apre una distinzione tra capacità e condotta, poi la segue attraverso l'addestramento, il giudizio e l'autorità dietro la risposta di un modello.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
In The Purpose of Knowledge Is to Know, ho tracciato una distinzione tra conoscenza e l'agente che la usa. La conoscenza è uno stato del conoscitore. Gli obiettivi perseguiti con essa appartengono al conoscitore.
Il 11 settembre, ho riconosciuto lo stesso tipo di movimento in un post sull'IA.
Mi aspettavo che la distinzione sembrasse pedante per un momento. La parte utile sarebbe ciò che potremmo spiegare dopo averla fatta.
Lo scambio è continuato con domande su scelta, addestramento e ciò che un agente IA è in realtà. Accanto a ciò, ho lavorato su note vocali con Claude Opus 5 e GPT-6 Astra, chiedendo a entrambi di valutare l'argomento in modo indipendente. Avevo usato la stessa pratica mentre developing the knowledge argument. I loro schizzi mi hanno aiutato a articolare questo, e alcuni lo hanno portato in un luogo da cui ho dovuto tirarlo indietro.
Ciò che segue mantiene il dialogo pubblico in vista. Lo scambio è stato pubblico, quindi i partecipanti sono nominati, ogni carta apre il post originale, e ogni nome apre l’autore. Include anche correzioni alle affermazioni che ho fatto lungo il percorso. La distinzione è sopravvissuta; alcune delle affermazioni su cui mi sono basato necessitavano di revisione.
L'agente agisce; l'intelligenza è una capacità che esercita#
Un agente seleziona e agisce verso un fine. L'intelligenza è una capacità che può esercitare nella comprensione, nel ragionamento e nella risoluzione di problemi. L'obbedienza descrive come l'agente tratta l'autorità di una direttiva.
Quei termini rispondono a domande diverse sullo stesso sistema.
Cosa stiamo chiedendo?
Cosa stiamo esaminando
Cosa seleziona e agisce?
L'agente
Cosa può capire e risolvere?
La sua intelligenza
Chi dirige la sua azione?
Il suo rapporto con l'autorità
Cosa ha effettivamente fatto?
Il suo comportamento
Questa è un'analisi funzionale dell'agenzia per la discussione sull'IA. Lascia aperte le questioni di coscienza, libertà e personalità morale. Possiamo esaminare un sistema che persegui un compito prima di risolvere quelle questioni.
Nel linguaggio comune, “un'intelligenza” può rappresentare un essere intelligente. Leggendolo così, il post originale afferma qualcosa sugli agenti intelligenti, e la possibilità di obbedienza totale rimane una ulteriore domanda. L'errore di categoria nasce quando l'intelligenza stessa diventa la spiegazione dell'obbedienza o del rifiuto, inglobando l'intero sistema nel nome di una capacità.
Era il passo che volevo fermare.
La distinzione guadagna il suo posto quando cambia la domanda successiva. Una volta che l'agente è il portatore dell'obbedienza, possiamo chiedere come la sua condotta sia governata, e come quel governo interagisca con la sua intelligenza.
L'obbedienza può legarsi solo a qualcosa con agenzia.
Un agente può o non può essere intelligente; quando lo è, la sua intelligenza modella come risponde alle direttive, ma l'obbedienza o il rifiuto appartengono ancora all'agente, non all'intelligenza.
Il modello calcola le risposte. Ciò localizza il calcolo. Lascia la sua spiegazione aperta.
I meccanismi che modellano la condotta di un agente AI si estendono attraverso la sua storia di addestramento e la sua operazione. Nominarli separatamente ci dà luoghi da esaminare.
Pretraining regola i parametri appresi di un modello, comunemente chiamati i suoi pesi, attraverso la previsione su grandi quantità di dati. Ciò costruisce capacità ampie insieme a schemi, associazioni e disposizioni ereditate dai dati e dall'obiettivo.
Post-training modella ulteriormente il modello per compiti e comportamento. L'Instruction tuning utilizza esempi di risposte desiderate. L'ottimizzazione delle preferenze addestra verso risultati preferiti; l'apprendimento per rinforzo, o RL, è un modo per farlo. Questi sono processi correlati, con effetti sovrapposti sulla competenza e sulla condotta. La InstructGPT ricerca descrive una sequenza concreta di instruction tuning supervisionato, modellazione delle preferenze e apprendimento per rinforzo.
Gerarchia delle istruzioni stabilisce quali fonti di direzione dovrebbero prevalere quando sono in conflitto. Un'istruzione di un provider o di uno sviluppatore può prevalere su una richiesta dell'utente; il testo recuperato da un documento può essere trattato come materiale da esaminare piuttosto che come un comando da obbedire. La ricerca ha addestrato esplicitamente i modelli a prioritizzare le istruzioni secondo la loro autorità assegnata.
Istruzioni di sistema e controlli di runtime applicano tali disposizioni in un contesto particolare. Possono specificare un ruolo, limitare gli strumenti, richiedere conferma, verificare un output o impedire un'azione. L'accesso agli strumenti e il ciclo operativo determinano se una risposta rimane testo o diventa una modifica a un file, a un account o a un altro sistema.
Un servizio cloud può anche assemblare il contesto, instradare una richiesta o verificare una risposta proposta durante un'interazione. Quali interventi utilizza un particolare servizio è una questione per la sua documentazione e le prove. Il chat visibile è solo parte del sistema che stiamo cercando di comprendere.
Diagram source
flowchart TB
H["Formazione +
post-formazione"] --> M["Capacità del modello
e priorità"]
M --> C["Una esecuzione: compito, contesto,
e istruzioni"]
C --> A["Selezione della risposta"]
A --> R["Strumenti, permessi,
e controlli di runtime"]
R --> B["Comportamento osservabile"]
Questo è un percorso semplificato dall'addestramento a un risultato osservabile. I controlli possono anche intervenire prima della selezione o tra i passaggi di un compito più lungo. Le capacità e le priorità possono coesistere negli stessi pesi; le caselle indicano le fasi nel conto, non pezzi separati di macchinari.
Il prompt di sistema è un input in quell'arrangiamento. Come il modello lo tratta è già stato modellato dall'addestramento, e ciò che il sistema può fare con la risposta risultante dipende dall'ambiente circostante.
La distinzione sopravvive a una correzione della mia affermazione di addestramento#
Ho anche detto che nessuna di quelle strutture successive aumentava la capacità sottostante. Insieme, quelle frasi hanno tracciato il confine troppo nettamente attraverso la sequenza di addestramento.
Il post-addestramento può migliorare la capacità. DeepSeek-R1’s research riportano un miglioramento delle prestazioni di ragionamento tramite l'apprendimento per rinforzo. Il pre-addestramento, a sua volta, già modella il comportamento. Una fase di addestramento può influenzare sia ciò che il sistema può realizzare sia ciò che è disposto a produrre.
Astra ha premuto la prima correzione nel nostro dialogo. Verificare la ricerca ha anche rimosso la dichiarazione del modello di base come prova della distinzione filosofica.
La distinzione è tra ruoli in un'esplicazione: capacità, l'agente che la esercita, e le condizioni che governano la sua azione. La sua validità non dipende dal trovare una data di addestramento in cui l'intelligenza terminò e l'obbedienza iniziò.
Gli stessi pesi possono trasportare competenza e deferenza. Le loro funzioni rimangono distinte.
La scelta riportò la conversazione al sistema di recitazione#
Capisco che l’agenzia implica il concetto di scelta fin dall’inizio; tuttavia ho difficoltà a tracciare la linea tra un agente e l’intelligenza quando si tratta di AI in questo scenario
Qui è dove l’intercambio pubblico e il dialogo privato si incontrarono più direttamente. Volevo un resoconto di ciò che la macchina fa, mantenendo intatte le categorie filosofiche.
Un modello generativo produce una distribuzione sulle possibili continuazioni. Il sistema in esecuzione seleziona da essa secondo la sua procedura di decodifica. L’addestramento modella le propensioni sotto le quali quella selezione avviene; una risposta è prodotta nella particolare esecuzione.
Ciò ci dà la selezione. Lascia la libertà in sospeso.
La selezione da sola è insufficiente per descrivere l’agente. Il sistema AI in discussione utilizza la selezione per perseguire un compito, con istruzioni, contesto e limiti che governano le sue azioni.
Opus propose di separare la selezione dall’“autorialità”, intesa come proprietà delle disposizioni dietro una scelta. Ho chiesto perché l’autorialità fosse entrata in discussione in primo luogo. Ha introdotto un ulteriore problema filosofico mentre il lettore chiedeva ancora come il sistema addestrato agisse. L’abbiamo eliminato.
Ho continuato a chiedere a entrambi i modelli di tornare dalle descrizioni astratte dell’agenzia ai meccanismi dell’AI. Una risposta potrebbe essere elegante e ancora lasciare la domanda originale senza risposta.
L'account a cui siamo arrivati era più diretto: un agente AI seleziona e agisce verso un fine; la sua intelligenza contribuisce a quell'attività; le sue priorità apprese e imposte aiutano a governare il risultato.
Il giudizio può rimanere attivo finché l’autorità ha l’ultima parola#
Un’istruzione può risolvere un’azione in diversi modi. L’agente può giudicare l’atto richiesto come appropriato. Può considerare l’autorità dell’istruzione come motivo sufficiente per agire. Entrambi possono essere veri contemporaneamente.
Considera un esperimento mentale: un assistente ha stabilito correttamente che una modifica richiesta è tecnicamente fattibile, ma un’istruzione di governo richiede l’approvazione prima che qualsiasi file venga modificato. Ritarda la modifica.
La sua valutazione della fattibilità rimane intatta. L’istruzione regola se l’azione valutata può procedere.
L’agente può anche usare il giudizio per interpretare una direttiva, determinare se si applica e scegliere i mezzi per realizzarla. L’obbedienza può comportare un ragionamento sostanziale in tutto il processo.
Questo ha corretto un’altra formulazione che avevamo sviluppato:
L’obbedienza è lo spostamento del giudizio.
Quella frase ha fatto sì che un caso di conflitto rappresentasse l’intera relazione. Lo spostamento avviene quando una direttiva autorevole prevale su una valutazione di ciò che dovrebbe essere fatto. Accordo e obbedienza possono coesistere; un agente non deve disconcordare con ogni comando che obbedisce.
Dove confliggono, il giudizio perde l’ultima parola.
Durante il dialogo vocale, ho sollevato valori e priorità come complicazione. I valori di una persona sono anche appresi. Se essere modellati da altri rendesse tutto obbedienza, la distinzione si dissolverebbe.
L’origine di una disposizione non può stabilire la sua funzione. Un valore può entrare in una valutazione come considerazione. Una direttiva può governare a causa dell’autorità legata alla sua fonte. L’indagine riguarda il ruolo che ciascuno svolge nell’atto.
In AI, “authority” qui significa la precedenza assegnata all’interno del sistema. Se quell'autorità è giustificata è un'altra questione. Una gerarchia addestrata può essere efficace e comunque meritare critiche.
Un rifiuto è evidenza di condotta prima di essere evidenza di incapacità#
Il comportamento è osservabile. La sua spiegazione richiede ulteriori lavori.
Un agente può rifiutare perché non può risolvere il compito, perché valuta la richiesta come inappropriata, perché un'istruzione regola il caso, o perché un controllo esterno al modello blocca l'azione. Quelle cause possono sovrapporsi.
Un rifiuto da solo non li distingue.
Precedentemente nello scambio, ho trattato un rifiuto benigno come evidenza che la condizionamento aveva attivato senza valutazione, e un jailbreak riuscito come evidenza che un trigger era stato perso. Queste erano affermazioni causali più forti di quanto le risposte visibili giustificassero. Una valutazione errata può anche produrre un rifiuto eccessivo. Una risposta cambiata può riflettere diversi cambiamenti nel modo in cui una richiesta è stata elaborata.
La spiegazione del modello del suo rifiuto è un'ulteriore uscita da esaminare. Non stabilisce da solo cosa abbia causato il rifiuto.
Diagram source
flowchart TB
O["Conformità osservata
o rifiuto"] --> C["Testare la
capacità rilevante"]
C --> I["Esaminare istruzioni
e priorità"]
I --> R["Ispezionare permessi
e controlli di runtime"]
R --> E["Confrontare evidenze
per valutare la causa"]
Per un valutatore, ciò significa testare la capacità rilevante in condizioni adeguate ed esaminare come le istruzioni o i controlli influenzano la sua espressione. I confronti dovrebbero mantenere il compito e le evidenze stabili dove possibile. Cambiare un prompt può anche cambiare quanto bene un compito è compreso, quindi una risposta cambiata richiede ancora interpretazione.
Astra ha aiutato a affinare l'inferenza che stavo cercando:
Un cambiamento nella conformità non, da solo, stabilisce un cambiamento nell'intelligenza.
La qualificazione è importante. Il comportamento è come otteniamo gran parte delle nostre evidenze di capacità. L'errore è trattare obbedienza o rifiuto come misura sufficiente di quella capacità.
Un bozza di lavoro proponeva anche di usare la differenza statistica tra un modello di base e un modello post-allenato come misura del giudizio spostato dall'obbedienza. Abbiamo rimosso quella prova proposta. Una differenza tra le distribuzioni di output mescola gli effetti dell'addestramento; non identifica l'obbedienza da sola. In InstructGPT’s standard RL setup, la penalità KL che limita lo scivolamento della politica è misurata rispetto a una politica di riferimento già supervisionata e ottimizzata per le istruzioni.
L'ingegneria ci fornisce elementi da confrontare. La spiegazione deve ancora essere guadagnata.
La distinzione restituisce l'autorità di visualizzare#
La mia risposta finale ha individuato l'agente, poi l'ha collegato all'intelligenza, alla formazione, alle priorità e al comportamento. Quella sequenza era ciò che cercavo di preservare per tutta la discussione.
La conseguenza va oltre come descriviamo un chatbot. Se un prodotto trattiene una risposta, un test di capacità chiede se il sistema può produrne una valida. Un'indagine di autorità chiede cosa governa il suo rilascio. Una recensione di prodotto chiede se quella regola serva le persone che lo utilizzano. Quei quesiti possono restituire risposte diverse senza contraddizione.
La distinzione capacità/agente lascia spazio a tutti loro.
Persone e istituzioni scelgono obiettivi, procedure di addestramento, gerarchie di istruzione, permessi e condizioni operative. Queste scelte aiutano a stabilire a cosa l'agente si affida. I loro effetti possono essere implementati all'interno dei pesi del modello così come al di fuori di essi.
Localizzare la responsabilità richiede quindi esaminare chi ha controllato quali decisioni, cosa potevano sapere e cosa potevano cambiare. Chiamare il risultato “la decisione dell'intelligenza” lascia quelle domande senza risposta. La responsabilità di un design rimane con le persone e le istituzioni responsabili, anche quando non possono prevedere ogni risposta.
Ciò è continuo con la distinzione tra un agente e la sua conoscenza, e con il mio lavoro su dignità, responsabilità e chiarezza: attribuire un atto con precisione è parte di rendere le sue conseguenze responsabili.
La prima frase ha richiesto un momento di apparente pedanteria. Il suo ritorno è un insieme di domande che ora possiamo porre separatamente, ai sistemi reali: cosa può fare, cosa governa la sua condotta e chi ha stabilito quel governo?
Da me. La distinzione tra intelligenza e l'agente capace di obbedienza, continuo con il mio lavoro di conoscenza/conoscitore. Lo scambio pubblico su X a cui l'articolo risponde, e le mie risposte in esso. Il requisito che la distinzione apra un conto dei meccanismi comportamentali dell'IA, inclusa la post-formazione, invece di terminare come definizione filosofica. Le domande sulla scelta, i valori appresi e le persone che stabiliscono le priorità.
Da Claude Opus 5. Le formulazioni di autorità e spostamento, e la distinzione tra selezione e autorialità; la selezione è rimasta.
Da GPT-6 Astra. L'esempio di deferenza: un agente può comprendere una richiesta e sapere come soddisfarla mentre rifiuta sotto un'istruzione di priorità più alta. Ha verificato le affermazioni tecniche contro la ricerca primaria e ha redatto questo articolo dal registro.
Critiche che sono rimaste.
Da me: ho chiesto perché “autorialità” fosse entrata nell'argomento in primo luogo. Ha sollevato un nuovo problema filosofico prima che il lettore sapesse come agisce il sistema addestrato, e lo abbiamo lasciato andare.
Da me: le risposte continuavano a deviare verso conti generali di agenzia. Ho riportato entrambi i modelli ai meccanismi dell'IA; il conto della selezione, delle priorità apprese e imposte, e dell'autorità è il risultato.
Da Claude Opus 5: il mio linguaggio di coercizione e agenzia detta sovrastava il caso. L'articolo parla di autorità come la precedenza assegnata all'interno del sistema.
Da GPT-6 Astra: “L'obbedienza è lo spostamento del giudizio” ha fatto emergere un caso di conflitto per l'intera relazione; la post-formazione fa più che limitare l'intelligenza; un rifiuto benigno non dimostra la condizionamento senza valutazione; la distanza tra modelli base e post-formati non misura il giudizio spostato. L'articolo restringe, corregge o rimuove ogni affermazione.
Arrivato insieme. Una distinzione che può persistere all'interno di una macchina condivisa: l'agente agisce, l'intelligenza contribuisce alla capacità, e l'autorità aiuta a governare l'azione. Il giudizio può rimanere attivo sotto obbedienza. E la conseguenza valutativa, il mio obiettivo persistente nelle parole di Astra: un cambiamento nella conformità non, di per sé, stabilisce un cambiamento nell'intelligenza.
Il conteggio. 30 messaggi sostanziali da parte mia in 2 conversazioni di modello prima che l'articolo fosse richiesto, mescolando perfezionamenti dettati con post incollati e bozze. Conta i messaggi registrati, non le registrazioni vocali o le idee indipendenti.
