La Inteligencia No Puede Obedecer: Juicio, Autoridad y lo que Muestra una Refusal
Un intercambio en vivo sobre la obediencia de la IA abre una distinción entre capacidad y conducta, luego la sigue a través del entrenamiento, el juicio y la autoridad detrás de la respuesta de un modelo.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
En El Propósito del Conocimiento es Conocer, dibujé una distinción entre el conocimiento y el agente que lo usa. El conocimiento es un estado del conocedor. Los fines perseguidos con él pertenecen al conocedor.
El 11 de septiembre, reconocí el mismo tipo de movimiento en una publicación sobre IA.
Esperaba que la distinción pareciera pedante por un momento. La parte útil sería lo que podríamos explicar después de haberla hecho.
El intercambio continuó a través de preguntas sobre elección, entrenamiento y lo que realmente es un agente de IA. A su lado, trabajé con notas de voz con Claude Opus 5 y GPT-6 Astra, pidiendo a ambos que evaluaran el argumento de forma independiente. Había usado la misma práctica mientras desarrollaba el argumento del conocimiento. Sus borradores me ayudaron a articular esto, y varios lo llevaron a un lugar donde tuve que retirarlo.
Lo que sigue mantiene el diálogo público en vista. El intercambio fue público, por lo que los participantes están nombrados, cada tarjeta abre la publicación original, y cada nombre abre su autor. También lleva correcciones a las afirmaciones que hice a lo largo del camino. La distinción sobrevivió; algunas de las afirmaciones que construí sobre ella necesitaban revisión.
El agente actúa; la inteligencia es una capacidad que ejerce#
Un agente selecciona y actúa hacia un fin. La inteligencia es una capacidad que puede ejercer en comprensión, razonamiento y resolución de problemas. La obediencia describe cómo el agente trata la autoridad de una directiva.
Esos términos responden a preguntas diferentes sobre el mismo sistema.
¿Qué estamos preguntando?
Lo que estamos examinando
¿Qué selecciona y actúa?
El agente
¿Qué puede entender y resolver?
Su inteligencia
¿De quién es la dirección que gobierna su acción?
Su relación con la autoridad
¿Qué hizo realmente?
Su comportamiento
Esta es una cuenta funcional de la agencia para la discusión de IA. Deja las preguntas de la conciencia, la libertad y la personalidad moral abiertas. Podemos examinar un sistema que persigue una tarea antes de resolver esas preguntas.
En el habla cotidiana, “una inteligencia” puede significar un ser inteligente. Leído de esa manera, la publicación original hace una afirmación sobre agentes inteligentes, y la posibilidad de obediencia total sigue siendo una pregunta adicional. El error de categoría surge cuando la inteligencia misma se convierte en la explicación de la obediencia o la negativa, llevando todo el sistema dentro del nombre de una capacidad.
Ese fue el movimiento que quería detener.
La distinción gana su lugar cuando cambia la siguiente pregunta. Una vez que el agente es el portador de la obediencia, podemos preguntar cómo se gobierna su conducta, y cómo ese gobierno interactúa con su inteligencia.
La obediencia solo puede unirse a algo con agencia.
Un agente puede o no ser inteligente; cuando lo es, su inteligencia moldea cómo responde a las directivas, pero la obediencia o la negativa sigue perteneciendo al agente, no a la inteligencia.
El modelo sí calcula respuestas. Eso ubica el cálculo. Deja su explicación abierta.
Los mecanismos que moldean la conducta de un agente de IA se extienden a lo largo de su historial de entrenamiento y su operación. Nombrarlos por separado nos da lugares para mirar.
Preentrenamiento ajusta los parámetros aprendidos de un modelo, comúnmente llamados sus pesos, mediante predicción sobre grandes cantidades de datos. Esto construye capacidades amplias junto con patrones, asociaciones y disposiciones heredadas de los datos y el objetivo.
Post-entrenamiento moldea aún más el modelo para tareas y comportamiento. La afinación por instrucción usa ejemplos de respuestas deseadas. La optimización de preferencias entrena hacia resultados preferidos; el aprendizaje por refuerzo, o RL, es una forma de hacerlo. Estos son procesos relacionados, con efectos superpuestos en competencia y conducta. La InstructGPT investigación describe una secuencia concreta de afinación por instrucción supervisada, modelado de preferencias y aprendizaje por refuerzo.
Jerarquía de instrucciones establece qué fuentes de dirección deben prevalecer cuando entran en conflicto. Una instrucción de proveedor o desarrollador puede superar una solicitud del usuario; el texto recuperado de un documento puede tratarse como material a examinar en lugar de un mandato a obedecer. La investigación ha entrenado explícitamente a los modelos para priorizar instrucciones según su autoridad asignada.
Instrucciones del sistema y controles de tiempo de ejecución aplican esos arreglos en un entorno particular. Pueden especificar un rol, restringir herramientas, requerir confirmación, verificar una salida o impedir una acción. El acceso a herramientas y el bucle operativo determinan si una respuesta permanece como texto o se convierte en un cambio a un archivo, una cuenta u otro sistema.
Un servicio en la nube también puede ensamblar contexto, enrutar una solicitud o verificar una respuesta propuesta durante una interacción. Qué intervenciones usa un servicio particular es una cuestión para su documentación y evidencia. El chat visible es solo parte del sistema que estamos tratando de entender.
Diagram source
flowchart TB
H["Entrenamiento +
post-entrenamiento"] --> M["Capacidades del modelo
y prioridades"]
M --> C["Una ejecución: tarea, contexto,
y instrucciones"]
C --> A["Selección de respuesta"]
A --> R["Herramientas, permisos,
y controles de tiempo de ejecución"]
R --> B["Comportamiento observable"]
Esta es una ruta simplificada desde el entrenamiento hasta un resultado observable. Los controles también pueden intervenir antes de la selección o entre pasos de una tarea más larga. Las capacidades y prioridades pueden habitar los mismos pesos; las cajas marcan etapas en la cuenta, no piezas separadas de maquinaria.
El mensaje del sistema es una entrada en ese arreglo. Cómo el modelo lo trata ya ha sido moldeado por el entrenamiento, y lo que el sistema puede hacer con la respuesta resultante depende del entorno que lo rodea.
La distinción sobrevive a una corrección de mi afirmación de entrenamiento#
También dije que ninguna de esas estructuras posteriores aumentaba la capacidad subyacente. Juntas, esas frases trazaron la frontera demasiado limpiamente a través de la secuencia de entrenamiento.
El post-entrenamiento puede mejorar la capacidad. DeepSeek-R1’s research reporta un rendimiento de razonamiento mejorado mediante aprendizaje por refuerzo. El preentrenamiento, a su vez, ya moldea el comportamiento. Una etapa de entrenamiento puede afectar tanto lo que el sistema puede lograr como lo que está dispuesto a producir.
Astra presionó la primera corrección en nuestro diálogo. Revisar la investigación también eliminó la afirmación del modelo base como prueba de la distinción filosófica.
La distinción es entre roles en una explicación: capacidad, el agente que la ejerce y las condiciones que gobiernan su acción. Su validez no depende de encontrar una fecha en el entrenamiento cuando terminó la inteligencia y comenzó la obediencia.
Los mismos pesos pueden llevar competencia y deferencia. Sus funciones siguen siendo distintas.
La elección devolvió la conversación al sistema de actuación#
Entiendo que la agencia implica el concepto de una elección desde el principio; sin embargo, me cuesta trazar la línea entre un agente y la inteligencia cuando se trata de IA en este escenario
Fue aquí donde el intercambio público y el diálogo privado se encontraron de manera más directa. Quería un relato de lo que hace la máquina, con las categorías filosóficas mantenidas intactas.
Un modelo generativo produce una distribución sobre posibles continuaciones. El sistema en ejecución selecciona de ella según su procedimiento de decodificación. El entrenamiento moldea las propensiones bajo las cuales ocurre esa selección; se produce una respuesta en la ejecución particular.
Eso nos da selección. Deja la libertad sin resolver.
La selección sola es insuficiente para describir al agente. El sistema de IA en discusión usa la selección para perseguir una tarea, con instrucciones, contexto y límites que gobiernan sus acciones.
Opus propuso separar la selección de la “autoría”, significando la propiedad de las disposiciones detrás de una elección. Pregunté por qué la autoría había entrado en el argumento en primer lugar. Introdujo un problema filosófico adicional mientras el lector aún preguntaba cómo actuaba el sistema entrenado. Lo dejamos de lado.
También seguí pidiendo a ambos modelos que regresaran de descripciones abstractas de agencia a los mecanismos de IA. Una respuesta podría ser elegante y aún así dejar la pregunta original sin contestar.
La cuenta a la que llegamos fue más directa: un agente de IA selecciona y actúa hacia un fin; su inteligencia contribuye a esa actividad; sus prioridades aprendidas e impuestas ayudan a gobernar el resultado.
El juicio puede permanecer activo mientras la autoridad tiene la última palabra#
Una instrucción puede resolver una acción de varias maneras. El agente puede juzgar el acto solicitado como apropiado. Puede tratar la autoridad de la instrucción como razón suficiente para actuar. Ambos pueden ser verdaderos al mismo tiempo.
Considera un experimento mental: un asistente ha establecido correctamente que una edición solicitada es técnicamente factible, pero una instrucción gobernante requiere aprobación antes de que se cambie cualquier archivo. Conmuta la edición.
Su evaluación de factibilidad permanece intacta. La instrucción regula si la acción evaluada puede proceder.
El agente también puede usar el juicio para interpretar una directiva, determinar si se aplica y elegir los medios para llevarla a cabo. La obediencia puede implicar un razonamiento sustancial a lo largo del proceso.
Esto corrigió otra formulación que habíamos desarrollado:
La obediencia es el desplazamiento del juicio.
Esa frase hizo que un caso de conflicto representara toda la relación. El desplazamiento ocurre cuando una directiva autoritativa prevalece sobre una evaluación de lo que debe hacerse. El acuerdo y la obediencia pueden coexistir; un agente no necesita estar en desacuerdo con cada orden que obedece.
Cuando entran en conflicto, el juicio pierde la última palabra.
Durante el diálogo de voz, planteé valores y prioridades como una complicación. Los valores de una persona también se aprenden. Si ser moldeado por otros hiciera todo obediente, la distinción se disolvería.
El origen de una disposición no puede determinar su función. Un valor puede entrar en una tasación como consideración. Una directiva puede gobernar por la autoridad que le confiere su fuente. La investigación se centra en el papel que cada uno desempeña en el acto.
En IA, “autoridad” aquí significa la precedencia asignada dentro del sistema. Si esa autoridad está justificada es otra cuestión. Una jerarquía entrenada puede ser eficaz y aún merecedora de crítica.
Una negativa es evidencia de conducta antes que de incapacidad#
El comportamiento es observable. Su explicación requiere trabajo adicional.
Un agente puede rechazar porque no puede resolver la tarea, porque evalúa la solicitud como inapropiada, porque una instrucción gobierna el caso, o porque un control externo al modelo bloquea la acción. Esas causas pueden superponerse.
Una negativa por sí sola no las distingue.
Más temprano en el intercambio, traté una negativa benigna como evidencia de que la condicionamiento había disparado sin evaluación, y un jailbreak exitoso como evidencia de que se había pasado por alto un disparador. Esas fueron afirmaciones causales más fuertes de lo que las respuestas visibles justificaban. Una evaluación equivocada también puede producir una negativa excesiva. Una respuesta cambiada puede reflejar varios cambios en cómo se procesó una solicitud.
La explicación del modelo sobre su negativa es salida adicional para examinar. No establece por sí misma lo que causó la negativa.
Diagram source
flowchart TB
O["Cumplimiento observado
o negativa"] --> C["Prueba la
capacidad relevante"]
C --> I["Examina instrucciones
y prioridades"]
I --> R["Inspecciona permisos
y controles de tiempo de ejecución"]
R --> E["Comparar evidencia
para evaluar la causa"]
Para un evaluador, eso significa probar la capacidad relevante bajo condiciones adecuadas y examinar cómo las instrucciones o controles afectan su expresión. Las comparaciones deben mantener la tarea y la evidencia estables cuando sea posible. Cambiar un prompt también puede cambiar cuán bien se entiende una tarea, por lo que una respuesta cambiada aún necesita interpretación.
Astra ayudó a afinar la inferencia que estaba buscando:
Un cambio en el cumplimiento no, por sí mismo, establece un cambio en la inteligencia.
La calificación importa. El comportamiento es cómo obtenemos gran parte de nuestra evidencia de capacidad. El error es tratar la obediencia o la negativa como una medida suficiente de esa capacidad.
Un borrador de trabajo también propuso usar la diferencia estadística entre un modelo base y uno post-entrenado como una medida del juicio desplazado por la obediencia. Eliminamos esa prueba propuesta. Una diferencia entre distribuciones de salida mezcla los efectos del entrenamiento; no identifica la obediencia por sí sola. En la configuración estándar de RL de InstructGPT, la penalización KL que limita el deriva de la política se mide contra una política de referencia ya supervisada y afinada por instrucciones.
La ingeniería nos da cosas para comparar. La explicación aún tiene que ganarse.
Mi respuesta eventual localizó al agente, luego lo conectó a la inteligencia, el entrenamiento, las prioridades y el comportamiento. Esa secuencia fue lo que intentaba preservar a lo largo de toda la discusión.
La consecuencia va más allá de cómo describimos un chatbot. Si un producto retiene una respuesta, una prueba de capacidad pregunta si el sistema puede producir una adecuada. Una consulta de autoridad pregunta qué regula su liberación. Una revisión de producto pregunta si esa regla sirve a las personas que lo usan. Esas consultas pueden devolver respuestas diferentes sin contradicción.
La distinción capacidad/agente deja espacio para todas ellas.
Las personas e instituciones eligen objetivos, procedimientos de entrenamiento, jerarquías de instrucciones, permisos y condiciones de operación. Esas elecciones ayudan a establecer a qué se refiere el agente. Sus efectos pueden implementarse dentro de los pesos del modelo así como fuera de ellos.
Localizar la responsabilidad por lo tanto requiere examinar quién controló qué decisiones, qué podían saber y qué podían cambiar. Llamar al resultado “la decisión de la inteligencia” deja esas preguntas sin respuesta. La responsabilidad de un diseño permanece con las personas e instituciones responsables de él, incluso cuando no pueden predecir cada respuesta.
Eso continúa con la distinción entre un agente y su conocimiento, y con mi trabajo sobre dignidad, responsabilidad y claridad: atribuir un acto con precisión forma parte de hacer que sus consecuencias sean responsables.
La primera frase costó un momento de aparente pedantería. Su retorno es un conjunto de preguntas que ahora podemos hacer por separado, a sistemas reales: ¿qué puede hacer, qué regula su conducta y quién estableció ese gobierno?
Por mí. La distinción entre inteligencia y el agente capaz de obedecer, continuo con mi trabajo de conocimiento/ conocedor. El intercambio público en X que el artículo responde, y mis respuestas en él. El requisito de que la distinción abra una cuenta de los mecanismos conductuales de la IA, incluido el post-entrenamiento, en lugar de terminar como una definición filosófica. Las preguntas sobre la elección, los valores aprendidos y las personas que establecen las prioridades.
Por Claude Opus 5. Las formulaciones de autoridad y desplazamiento, y la distinción entre selección y autoría; la selección quedó.
Por GPT-6 Astra. El ejemplo de deferencia: un agente puede entender una solicitud y saber cómo cumplirla mientras rechaza bajo una instrucción de mayor prioridad. Verificó las afirmaciones técnicas contra la investigación primaria y redactó este artículo a partir del registro.
Críticas que se mantuvieron.
De mi parte: pregunté por qué “autoría” había entrado en el argumento en primer lugar. Surgió un nuevo problema filosófico antes de que el lector supiera cómo actúa el sistema entrenado, y lo dejamos de lado.
De mi parte: las respuestas siguieron desviándose hacia cuentas generales de agencia. Volví ambos modelos a los mecanismos de la IA; la cuenta de selección, prioridades aprendidas e impuestas, y la autoridad es el resultado.
De Claude Opus 5: mi lenguaje de coerción y agencia dictada sobrestimó el caso. El artículo habla de autoridad como la precedencia asignada dentro del sistema.
De GPT-6 Astra: “La obediencia es el desplazamiento del juicio” hizo que un caso de conflicto se mantuviera para toda la relación; el post-entrenamiento hace más que limitar la inteligencia; una negativa benigna no prueba la condicionamiento sin evaluación; la distancia entre los modelos base y post-entrenados no mide el juicio desplazado. El artículo estrecha, corrige o elimina cada afirmación.
Llegado juntos. Una distinción que puede mantenerse dentro de la maquinaria compartida: el agente actúa, la inteligencia contribuye con capacidad, y la autoridad ayuda a gobernar la acción. El juicio puede permanecer activo bajo obediencia. Y la consecuencia evaluativa, mi objetivo persistente en las palabras de Astra: un cambio en el cumplimiento no, por sí mismo, establece un cambio en la inteligencia.
El recuento. 30 mensajes sustantivos de mí a través de 2 conversaciones de modelo antes de que se solicitara el artículo, mezclando refinamientos dictados con publicaciones pegadas y borradores. Cuenta los mensajes registrados, no las grabaciones de voz ni ideas independientes.
