L'intelligence ne peut pas obéir: Jugement, Autorité, et ce qu'un refus révèle
Un échange en direct sur l'obéissance de l'IA ouvre une distinction entre capacité et conduite, puis la suit à travers l'entraînement, le jugement et l'autorité derrière la réponse d'un modèle.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
Dans The Purpose of Knowledge Is to Know, j'ai fait une distinction entre la connaissance et l'agent qui l'utilise. La connaissance est un état du connaisseur. Les objectifs poursuivis avec elle appartiennent au connaisseur.
Le 11 septembre, j'ai reconnu le même type de mouvement dans un post sur l'IA.
J'attendais que la distinction paraisse pédante un moment. La partie utile serait ce que nous pourrions expliquer après l'avoir faite.
L'échange a continué à travers des questions sur le choix, l'entraînement et ce qu'un agent IA est réellement. À côté, j'ai travaillé sur des notes vocales avec Claude Opus 5 et GPT-6 Astra, demandant à chacun d'évaluer l'argument indépendamment. J'avais utilisé la même pratique lors du développement de l'argument de connaissance. Leurs brouillons m'ont aidé à articuler celui-ci, et plusieurs l'ont emmené quelque part où j'ai dû le retirer de.
Ce qui suit maintient le dialogue public en vue. L'échange était public, donc les participants sont nommés, chaque carte ouvre le post original, et chaque nom ouvre son auteur. Il comporte également des corrections aux affirmations que j'ai faites en cours de route. La distinction a survécu ; certaines des affirmations sur lesquelles je me suis appuyé nécessitaient une révision.
L'agent agit ; l'intelligence est une capacité qu'il exerce#
Un agent sélectionne et agit vers un but. L'intelligence est une capacité qu'il peut exercer dans la compréhension, le raisonnement et la résolution de problèmes. L'obéissance décrit comment l'agent traite l'autorité d'une directive.
Ces termes répondent à des questions différentes sur le même système.
Que demandons-nous?
Ce que nous examinons
Qui sélectionne et agit?
L'agent
Ce qu'il peut comprendre et résoudre?
Son intelligence
Quelle direction gouverne son action?
Sa relation à l'autorité
Qu'a-t-il réellement fait?
Son comportement
Ceci est un compte rendu fonctionnel de l'agence pour la discussion sur l'IA. Il laisse les questions de conscience, de liberté et de personnalité morale ouvertes. Nous pouvons examiner un système poursuivant une tâche avant de régler ces questions.
Dans le langage courant, « une intelligence » peut désigner un être intelligent. Lue ainsi, la publication originale avance une affirmation sur les agents intelligents, et la possibilité d’une obéissance totale reste une question supplémentaire. L’erreur de catégorie apparaît lorsque l’intelligence elle‑même devient l’explication de l’obéissance ou du refus, portant tout le système dans le nom d’une capacité.
C’était le mouvement que je voulais arrêter.
La distinction mérite sa place lorsqu’elle change la question suivante. Une fois que l’agent est le porteur de l’obéissance, nous pouvons demander comment sa conduite est régie, et comment cette gouvernance interagit avec son intelligence.
L’obéissance ne peut s’attacher qu’à quelque chose d’agent.
Un agent peut être intelligent ou non ; lorsqu’il l’est, son intelligence façonne la façon dont il répond aux directives, mais l’obéissance ou le refus appartiennent toujours à l’agent, pas à l’intelligence.
Le modèle calcule les réponses. Cela localise le calcul. Il laisse son explication ouverte.
Les mécanismes qui façonnent la conduite d'un agent IA s'étendent sur son historique de formation et son fonctionnement. Les nommer séparément nous donne des endroits à examiner.
Pré-entraînement ajuste les paramètres appris d'un modèle, communément appelés ses poids, par prédiction sur de grandes quantités de données. Cela construit des capacités larges aux côtés de motifs, d'associations et de dispositions héritées des données et de l'objectif.
Post-entraînement façonne davantage le modèle pour les tâches et le comportement. Le réglage d'instruction utilise des exemples de réponses souhaitées. L'optimisation des préférences entraîne vers des résultats préférés ; l'apprentissage par renforcement, ou RL, est une façon de le faire. Ce sont des processus liés, avec des effets qui se chevauchent sur la compétence et la conduite. La InstructGPT recherche décrit une séquence concrète de réglage d'instruction supervisée, de modélisation des préférences et d'apprentissage par renforcement.
Hiérarchie des instructions détermine quelles sources de direction doivent prévaloir lorsqu’elles sont en conflit. Une instruction d’un fournisseur ou d’un développeur peut primer sur une demande d’un utilisateur ; le texte extrait d’un document peut être traité comme un matériau à examiner plutôt que comme une commande à obéir. La recherche a entraîné explicitement des modèles à prioriser les instructions selon leur autorité attribuée.
Instructions système et contrôles d’exécution appliquent ces arrangements dans un contexte particulier. Elles peuvent spécifier un rôle, restreindre les outils, demander une confirmation, vérifier une sortie ou empêcher une action. L’accès aux outils et la boucle d’exploitation déterminent si une réponse reste du texte ou devient une modification d’un fichier, d’un compte ou d’un autre système.
Un service cloud peut également assembler le contexte, acheminer une requête ou vérifier une réponse proposée pendant une interaction. Les interventions qu’un service particulier utilise sont une question de sa documentation et de ses preuves. Le chat visible n’est qu’une partie du système que nous essayons de comprendre.
Diagram source
flowchart TB
H["Formation +
post-formation"] --> M["Capacités du modèle
et priorités"]
M --> C["Une exécution : tâche, contexte,
et instructions"]
C --> A["Sélection de la réponse"]
A --> R["Outils, autorisations,
et contrôles d’exécution"]
R --> B["Comportement observable"]
Ceci est une route simplifiée de la formation à un résultat observable. Les contrôles peuvent également intervenir avant la sélection ou entre les étapes d’une tâche plus longue. Les capacités et les priorités peuvent coexister dans les mêmes poids ; les boîtes indiquent les étapes du compte, pas des pièces séparées de la machinerie.
Le prompt système est une entrée dans cet arrangement. La façon dont le modèle le traite a déjà été façonnée par la formation, et ce que le système peut faire avec la réponse résultante dépend de l’environnement qui l’entoure.
La distinction survit à une correction de ma revendication d'entraînement#
J'ai aussi dit qu'aucune de ces structures ultérieures n'augmentait la capacité sous-jacente. Ensemble, ces phrases ont tracé la frontière trop proprement à travers la séquence d'entraînement.
L'entraînement postérieur peut améliorer la capacité. DeepSeek-R1’s research rapporte une amélioration des performances de raisonnement grâce à l'apprentissage par renforcement. L'entraînement préalable, à son tour, façonne déjà le comportement. Une étape d'entraînement peut affecter à la fois ce que le système peut accomplir et ce qu'il est disposé à produire.
J'avais également décrit un modèle de base comme incapable de recevoir une instruction. C'était trop absolu. GPT-3 demonstrated task performance through prompts and examples without task-specific fine-tuning. L'ajustement d'instruction développe la fiabilité et la forme du suivi d'instruction ; il n'établit pas une frontière absolue entre une intelligence inaccessibles et un agent adressable.
Astra a appuyé la première correction dans notre dialogue. Vérifier la recherche a également supprimé la revendication du modèle de base comme preuve de la distinction philosophique.
La distinction est entre les rôles dans une explication : capacité, l'agent l'exerçant, et les conditions régissant son action. Sa validité ne dépend pas de la découverte d’une date dans la formation où l’intelligence s’est terminée et l’obéissance a commencé.
Les mêmes poids peuvent porter compétence et déférence. Leurs fonctions restent distinctes.
Le choix a ramené la conversation au système d'acteur#
Je comprends que l'agence implique le concept d'un choix dès le départ ; cependant j'ai du mal à tracer la ligne entre un agent et l'intelligence lorsqu'il s'agit d'IA dans ce scénario
C'est là que l'échange public et le dialogue privé se sont rencontrés le plus directement. Je voulais un compte rendu de ce que fait la machine, avec les catégories philosophiques conservées intactes.
Un modèle génératif produit une distribution sur les continuations possibles. Le système en cours sélectionne parmi elle selon sa procédure de décodage. L'entraînement façonne les propensions sous lesquelles cette sélection se produit ; une réponse est produite dans l'exécution particulière.
Cela nous donne la sélection. Cela laisse la liberté non résolue.
La sélection seule est insuffisante pour décrire l'agent. Le système d'IA en discussion utilise la sélection pour poursuivre une tâche, avec des instructions, un contexte et des limites régissant ses actions.
Opus a proposé de séparer la sélection de l'"authorship", signifiant la propriété des dispositions derrière un choix. J'ai demandé pourquoi l'authorship était entré dans l'argument en premier lieu. Il a introduit un problème philosophique supplémentaire alors que le lecteur demandait encore comment le système entraîné agissait. Nous l'avons abandonné.
J'ai également continué à demander aux deux modèles de revenir des descriptions abstraites de l'agence aux mécanismes de l'IA. Une réponse pourrait être élégante et laisser la question originale sans réponse.
Le compte que nous avons atteint était plus direct : un agent IA sélectionne et agit vers un but ; son intelligence contribue à cette activité ; ses priorités apprises et imposées aident à gouverner le résultat.
Le jugement peut rester actif tant que l'autorité a le dernier mot#
Une instruction peut régler une action de plusieurs façons. L'agent peut juger l'acte demandé comme approprié. Il peut considérer l'autorité de l'instruction comme raison suffisante pour agir. Les deux peuvent être vrais ensemble.
Considérons une expérience de pensée : un assistant a correctement établi qu'une modification demandée est techniquement faisable, mais une instruction de gouvernance exige une approbation avant que tout fichier ne soit modifié. Il retient la modification.
Son évaluation de la faisabilité reste intacte. L'instruction gouverne si l'action évaluée peut se poursuivre.
L'agent peut également utiliser le jugement pour interpréter une directive, déterminer si elle s'applique, et choisir les moyens de la mettre en œuvre. L'obéissance peut impliquer un raisonnement substantiel tout au long.
Cela a corrigé une autre formulation que nous avions développée :
L'obéissance est le déplacement du jugement.
Cette phrase a fait qu'un cas de conflit représentait toute la relation. Le déplacement se produit lorsqu'une directive autoritaire prévaut sur une évaluation de ce qui devrait être fait. L'accord et l'obéissance peuvent coexister ; un agent n'a pas besoin de désapprouver chaque commande qu'il obéit.
Lorsqu'ils entrent en conflit, le jugement perd le dernier mot.
Pendant le dialogue vocal, j'ai soulevé des valeurs et des priorités comme complication. Les valeurs d'une personne sont également apprises. Si être façonné par les autres rendait tout obéissant, la distinction se dissoudrait.
L'origine d'une disposition ne peut pas déterminer sa fonction. Une valeur peut entrer dans une évaluation comme considération. Une directive peut gouverner en raison de l'autorité attachée à sa source. L'enquête porte sur le rôle que chacun joue dans l'acte.
En IA, « authority » ici signifie la priorité assignée dans le système. Que cette autorité soit justifiée est une autre question. Une hiérarchie entraînée peut être efficace et mérite encore des critiques.
Un refus est une preuve de conduite avant qu’il ne soit une preuve d’incapacité#
Le comportement est observable. Son explication nécessite un travail supplémentaire.
Un agent peut refuser parce qu’il ne peut pas résoudre la tâche, parce qu’il juge la demande inappropriée, parce qu’une instruction gouverne le cas, ou parce qu’un contrôle extérieur au modèle bloque l’action. Ces causes peuvent se chevaucher.
Un refus seul ne les distingue pas.
Plus tôt dans l’échange, j’ai traité un refus bénin comme preuve que le conditionnement avait été déclenché sans évaluation, et un jailbreak réussi comme preuve qu’un déclencheur avait été manqué. Ce furent des affirmations causales plus fortes que les réponses visibles ne le justifiaient pas. Une mauvaise évaluation peut également produire un refus excessif. Une réponse modifiée peut refléter plusieurs changements dans la façon dont une demande a été traitée.
L’explication du refus du modèle est une sortie supplémentaire à examiner. Elle ne permet pas à elle seule d’établir ce qui a causé le refus.
Diagram source
flowchart TB
O["Conformité observée
ou refus"] --> C["Tester la
capacité pertinente"]
C --> I["Examiner les instructions
et les priorités"]
I --> R["Inspecter les permissions
et les contrôles d’exécution"]
R --> E["Comparez les preuves
pour évaluer la cause"]
Pour un évaluateur, cela signifie tester la capacité pertinente dans des conditions appropriées et examiner comment les instructions ou les contrôles affectent son expression. Les comparaisons doivent maintenir la tâche et les preuves stables autant que possible. Modifier un prompt peut également changer la façon dont une tâche est comprise, donc une réponse modifiée nécessite toujours une interprétation.
Astra a aidé à affiner l’inférence que je cherchais :
Un changement de conformité ne constitue pas, en soi, un changement d’intelligence.
La qualification compte. Le comportement est la façon dont nous obtenons une grande partie de nos preuves de capacité. L’erreur consiste à considérer l’obéissance ou le refus comme une mesure suffisante de cette capacité.
Un brouillon de travail proposait également d’utiliser la différence statistique entre un modèle de base et un modèle post-entraîné comme mesure du jugement déplacé par l’obéissance. Nous avons retiré cette preuve proposée. Une différence entre les distributions de sortie mélange les effets de l’entraînement ; elle n’identifie pas l’obéissance à elle seule. Dans la configuration RL standard de InstructGPT, la pénalité KL limitant le dérive de la politique est mesurée par rapport à une politique de référence déjà supervisée et ajustée par instruction.
L’ingénierie nous donne des éléments à comparer. L’explication doit encore être méritée.
Ma réponse finale a localisé l'agent, puis l'a relié à l'intelligence, à la formation, aux priorités et au comportement. Cette séquence était ce que je tentais de préserver tout au long de la discussion.
La conséquence dépasse la façon dont nous décrivons un chatbot. Si un produit retient une réponse, un test de capacité demande si le système peut en produire une valable. Une enquête d'autorité demande ce qui régit sa libération. Une revue de produit demande si cette règle sert les personnes qui l'utilisent. Ces enquêtes peuvent donner des réponses différentes sans contradiction.
La distinction capacité/agent laisse de la place à toutes ces réponses.
Les personnes et les institutions choisissent des objectifs, des procédures de formation, des hiérarchies d'instructions, des permissions et des conditions d'exploitation. Ces choix aident à établir à quoi l'agent se réfère. Leurs effets peuvent être mis en œuvre à l'intérieur des poids du modèle ainsi qu'à l'extérieur.
Localiser la responsabilité nécessite donc d'examiner qui contrôlait quelles décisions, ce qu'ils pouvaient savoir et ce qu'ils pouvaient changer. Appeler le résultat « la décision de l'intelligence » laisse ces questions sans réponse. La responsabilité d'une conception reste avec les personnes et les institutions responsables, même lorsqu'elles ne peuvent pas prédire chaque réponse.
Cela est continu avec la distinction entre un agent et ses connaissances, et avec mon travail sur dignité, responsabilité, et clarté: attribuer un acte avec précision fait partie de rendre ses conséquences responsables.
La première phrase a coûté un moment de pédanterie apparente. Son retour est un ensemble de questions que nous pouvons maintenant poser séparément, aux systèmes réels: que peut-il faire, ce qui gouverne son comportement, et qui a établi ce gouvernement?
Un agent peut obéir.
Son intelligence contribue à la façon dont il répond.
Par moi. La distinction entre l'intelligence et l'agent capable d'obéissance, continue avec mon travail de connaissance/connaisseur. L'échange public sur X que l'article répond, et mes réponses dedans. L'exigence que la distinction ouvre un compte des mécanismes comportementaux de l'IA, formation incluse, au lieu de se terminer comme une définition philosophique. Les questions sur le choix, les valeurs apprises et les personnes qui fixent les priorités.
Par Claude Opus 5. Les formulations d'autorité et de déplacement, et la distinction entre sélection et autorité ; la sélection est restée.
Par GPT-6 Astra. L'exemple de déférence : un agent peut comprendre une demande et savoir comment la satisfaire tout en refusant sous une instruction de priorité supérieure. Il a vérifié les affirmations techniques contre la recherche primaire et rédigé cet article à partir du registre.
Critiques qui ont tenu.
De ma part : j'ai demandé pourquoi « autorité » était entrée dans l'argument en premier lieu. Il a soulevé un nouveau problème philosophique avant que le lecteur ne sache comment le système entraîné agit, et nous l'avons abandonné.
De ma part : les réponses dérivaient vers des comptes généraux d'agence. J'ai ramené les deux modèles aux mécanismes de l'IA ; le compte de sélection, de priorités apprises et imposées, et d'autorité est le résultat.
De Claude Opus 5 : mon langage de coercition et d'agence dictée exagurait le cas. L'article parle d'autorité comme la prééminence assignée dans le système.
De GPT-6 Astra : « L'obéissance est le déplacement du jugement » a fait qu'un cas de conflit se tenait pour toute la relation ; la formation postérieure fait plus que contraindre l'intelligence ; un refus bénin ne prouve pas la condition sans évaluation ; la distance entre les modèles de base et post-entraînés ne mesure pas le jugement déplacé. L'article restreint, corrige ou supprime chaque affirmation.
Arrivé ensemble. Une distinction qui peut tenir au sein d'une machinerie partagée : l'agent agit, l'intelligence contribue à la capacité, et l'autorité aide à gouverner l'action. Le jugement peut rester actif sous obéissance. Et la conséquence évaluative, ma cible persistante dans les mots d’Astra : un changement de conformité ne constitue pas, en soi, un changement d’intelligence.
Le compte. 30 messages substantiels de ma part à travers 2 conversations de modèle avant que l’article ne soit demandé, mélangeant des raffinements dictés avec des publications collées et des brouillons. Il compte les messages enregistrés, pas les enregistrements vocaux ou les idées indépendantes.
