Интеллект не может подчиняться: Оценка, Авторитет и Что Показывает Отказ
Живая дискуссия о подчинении ИИ открывает различие между способностью и поведением, затем следует через обучение, оценку и авторитет, стоящий за ответом модели.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
В The Purpose of Knowledge Is to Know, я выделил различие между знанием и агентом, который его использует. Знание — это состояние знающего. Цели, преследуемые с его помощью, принадлежат знающему.
11 сентября я распознал тот же тип движения в посте о ИИ.
Я ожидал, что различие будет выглядеть педантично на мгновение. Полезная часть была бы тем, что мы могли бы объяснить после того, как сделаем это.
Обмен продолжался через вопросы о выборе, обучении и том, что на самом деле является агентом ИИ. Вместе с этим я работал над голосовыми заметками с Claude Opus 5 и GPT-6 Astra, просил их обоих независимо оценить аргумент. Я использовал ту же практику во время разработки аргумента знаний. Их черновики помогли мне сформулировать это, и несколько из них привели меня туда, откуда мне пришлось отозвать это.
Далее следует, чтобы публичный диалог оставался в поле зрения. Обмен был публичным, поэтому участники указаны, каждая карточка открывает оригинальный пост, а каждое имя открывает его автора. Это также содержит исправления к утверждениям, которые я сделал по ходу пути. Различие выжило; некоторые из утверждений, на которых я строил, потребовали пересмотра.
Агент действует; интеллект — это способность, которую он применяет#
Агент выбирает и действует в направлении цели. Интеллект — это способность, которую он может применять в понимании, рассуждении и решении проблем. Послушность описывает, как агент относится к авторитету директивы.
Эти термины отвечают на разные вопросы о той же системе.
Что мы спрашиваем?
Что мы изучаем
Что выбирает и действует?
Агент
Что он может понять и вывести?
Его интеллект
Чей директивный контроль управляет его действием?
Его отношение к авторитету
Что он действительно сделал?
Его поведение
Это функциональный учёт агентства для дискуссии об ИИ. Оставляет вопросы сознания, свободы и моральной личности открытыми. Мы можем рассмотреть систему, преследующую задачу, прежде чем решать эти вопросы.
В обычной речи «интеллект» может означать разумное существо. В таком понимании оригинальный пост делает утверждение о разумных агентах, а возможность полной подчинённости остаётся дальнейшим вопросом. Ошибка категории возникает, когда сам интеллект становится объяснением подчинения или отказа, включая всю систему в название способности.
Это был ход, который я хотел остановить.
Разделение заслуживает своего места, когда меняет следующий вопрос. Как только агент становится носителем подчинения, мы можем спросить, как его поведение регулируется, и как это управление взаимодействует с его интеллектом.
Подчинение может быть связано только с чем-то, обладающим агентством.
Агент может быть или не быть интеллектуальным; когда он является таким, его интеллект формирует реакцию на директивы, но подчинение или отказ всё равно принадлежат агенту, а не интеллекту.
Модель действительно вычисляет ответы. Это определяет место вычислений. Она оставляет своё объяснение открытым.
Механизмы, формирующие поведение AI‑агента, охватывают его историю обучения и его работу. Разделение их на отдельные части даёт нам места для поиска.
Предобучение регулирует изученные параметры модели, обычно называемые её весами, через предсказание на больших объёмах данных. Это создаёт широкие возможности наряду с паттернами, ассоциациями и предрасположенностями, наследуемыми от данных и цели.
Постобучение дополнительно формирует модель для задач и поведения. Настройка инструкций использует примеры желаемых ответов. Оптимизация предпочтений обучает к предпочтительным результатам; обучение с подкреплением, или RL, — один из способов сделать это. Это связанные процессы, с перекрывающимися эффектами на компетентность и поведение. Исследование InstructGPT research описывает конкретную последовательность обучения с учителем, моделирования предпочтений и обучения с подкреплением.
Иерархия инструкций устанавливает, какие источники направления должны иметь преимущество при конфликте. Инструкция поставщика или разработчика может иметь приоритет над запросом пользователя; текст, полученный из документа, может рассматриваться как материал для изучения, а не как команда к исполнению. Исследования явно обучали модели приоритизировать инструкции в соответствии с их назначенной властью.
Системные инструкции и управляемые параметры применяют эти соглашения в конкретной среде. Они могут указывать роль, ограничивать инструменты, требовать подтверждения, проверять вывод или предотвращать действие. Доступ к инструментам и цикл работы определяют, останется ли ответ текстом или станет изменением файла, аккаунта или другой системы.
Облачная служба также может собирать контекст, маршрутизировать запрос или проверять предложенный ответ во время взаимодействия. Какие вмешательства использует конкретная служба, — вопрос для её документации и доказательств. Видимый чат — лишь часть системы, которую мы пытаемся понять.
Diagram source
flowchart TB
H["Обучение +
постобучение"] --> M["Возможности модели
и приоритеты"]
M --> C["Запуск: задача, контекст,
и инструкции"]
C --> A["Выбор ответа"]
A --> R["Инструменты, разрешения,
и управляемые параметры"]
R --> B["Наблюдаемое поведение"]
Это упрощённый путь от обучения к наблюдаемому результату. Управление также может вмешиваться до выбора или между шагами более длинной задачи. Возможности и приоритеты могут находиться в одних и тех же весах; ячейки обозначают этапы в учёте, а не отдельные механизмы.
Системный запрос — один вход в эту схему. То, как модель с ним обращается, уже сформировано обучением, и то, что система может сделать с полученным ответом, зависит от окружающей среды.
Различие сохраняется после исправления моего утверждения об обучении#
Я также сказал, что ни одна из этих последующих структур не повышала базовую способность. Вместе эти предложения задали границу слишком чётко через последовательность обучения.
Постобучение может улучшить способность. DeepSeek-R1’s research сообщает улучшенную производительность рассуждений через обучение с подкреплением. Предобучение, в свою очередь, уже формирует поведение. Этап обучения может влиять как на то, что система может выполнить, так и на то, что она склонна производить.
Astra внесла первую коррекцию в нашем диалоге. Проверка исследований также удалила утверждение о базовой модели как доказательство философского различия.
Различие заключается в ролях в объяснении: способность, агент, осуществляющий её, и условия, регулирующие её действие. Его действительность не зависит от того, найдена ли дата в обучении, когда закончилась интеллектуальная деятельность и началось подчинение.
Те же веса могут нести компетентность и уважение. Их функции остаются различными.
Я понимаю, что агентство подразумевает концепцию выбора с самого начала; однако мне трудно провести грань между агентом и интеллектом, когда речь идёт об ИИ в этом сценарии
Именно здесь публичный обмен и частный диалог встретились наиболее напрямую. Я хотел получить отчёт о том, что делает машина, сохранив философские категории.
Генеративная модель создаёт распределение возможных продолжений. Рабочая система выбирает из него согласно своей процедуре декодирования. Тренировка формирует склонности, при которых происходит этот выбор; ответ создаётся в конкретном запуске.
Это даёт нам выбор. Это оставляет свободу неурегулированной.
Сам выбор недостаточен, чтобы описать агента. Обсуждающаяся система ИИ использует выбор для выполнения задачи, при этом инструкции, контекст и ограничения управляют её действиями.
Opus предложил отделить выбор от «авторства», то есть от владения склонностями, лежащими в основе выбора. Я спросил, почему авторство вообще вошло в аргумент. Это привнесло дополнительную философскую проблему, пока читатель всё ещё спрашивал, как обученная система действовала. Мы это убрали.
Я также продолжал просить обе модели перейти от абстрактных описаний агентства к механизмам ИИ. Ответ мог быть элегантным и всё ещё оставлять исходный вопрос без ответа.
Учет, к которому мы пришли, был более прямолинейным: агент ИИ выбирает и действует в направлении цели; его интеллект способствует этой деятельности; его изученные и принудительные приоритеты помогают управлять результатом.
Приём может оставаться активным, пока власть имеет окончательное слово#
Инструкция может урегулировать действие несколькими способами. Агент может посчитать запрошенное действие подходящим. Он может рассматривать авторитет инструкции как достаточную причину для действия. Оба могут быть одновременно истинными.
Рассмотрим мысленный эксперимент: ассистент правильно установил, что запрошенная правка технически возможна, но управляющая инструкция требует одобрения, прежде чем любой файл будет изменён. Он удерживает правку.
Его оценка осуществимости остаётся неизменной. Инструкция регулирует, может ли оцененное действие продолжиться.
Агент также может использовать приём для интерпретации директивы, определить, применима ли она, и выбрать средства её выполнения. Послушание может включать существенное рассуждение на протяжении всего процесса.
Это исправило другую формулировку, которую мы разработали:
Послушание — это смещение приёма.
Это предложение сделало конфликтный случай представителем всей связи. Смещение происходит, когда авторитетная директива преобладает над оценкой того, что должно быть сделано. Согласие и послушание могут сосуществовать; агент не обязан не соглашаться с каждой командой, которой он подчиняется.
Когда они конфликтуют, приём теряет окончательное слово.
Во время голосового диалога я поднял ценности и приоритеты как усложнение. Ценности человека также учатся. Если формирование другими делало всё подчинённым, различие исчезло бы.
Происхождение склонности не может определить её функцию. Значение может войти в оценку как фактор. Указание может управлять из‑за полномочий, присвоенных его источнику. Вопрос в том, какую роль каждый играет в действии.
В ИИ «полномочия» здесь означают приоритет, назначенный в системе. Является ли это полномочие обоснованным, – другой вопрос. Обучённая иерархия может быть эффективной и всё же заслуживать критики.
Отказ является доказательством поведения до того, как он становится доказательством неспособности#
Поведение наблюдаемо. Его объяснение требует дальнейшей работы.
Агент может отказать, потому что не может решить задачу, потому что оценивает запрос как неподходящий, потому что инструкция регулирует случай, или потому что контроль вне модели блокирует действие. Эти причины могут пересекаться.
Сам отказ не различает их.
Ранее в обмене я рассматривал безобидный отказ как доказательство того, что кондиционирование сработало без оценки, а успешный jailbreak как доказательство того, что триггер был пропущен. Это были более сильные причинные утверждения, чем это оправдывали видимые ответы. Ошибочная оценка также может вызвать чрезмерный отказ. Измененный ответ может отражать несколько изменений в том, как запрос был обработан.
Объяснение модели своего отказа является дополнительным выводом для изучения. Оно само по себе не устанавливает, что вызвало отказ.
Diagram source
flowchart TB
O["Наблюдаемое соблюдение
или отказ"] --> C["Проверьте соответствующую
способность"]
C --> I["Изучите инструкции
и приоритеты"]
I --> R["Проверьте разрешения
и управляемые контролы"]
R --> E["Сравните доказательства
для оценки причины"]
Для оценщика это означает проверку соответствующей способности при подходящих условиях и изучение того, как инструкции или контроль влияют на её проявление. Сравнения должны сохранять задачу и доказательства стабильными, где это возможно. Изменение подсказки также может изменить степень понимания задачи, поэтому изменённый ответ всё равно требует интерпретации.
Astra помогла уточнить вывод, к которому я стремился:
Изменение соблюдения не, само по себе, устанавливает изменение интеллекта.
Квалификация имеет значение. Поведение — это то, как мы получаем большую часть наших доказательств способности. Ошибка состоит в том, чтобы считать послушание или отказ достаточным показателем этой способности.
Рабочий черновик также предлагал использовать статистическое различие между базовой и постобученной моделью как измерение суждения, смещённого послушанием. Мы удалили это предложенное доказательство. Разница между распределениями выходов смешивает эффекты обучения; она не определяет послушание сама по себе. В стандартной настройке RL InstructGPT, штраф KL, ограничивающий дрейф политики, измеряется относительно уже обученной, настроенной инструкциями контрольной политики.
Инженерия даёт нам вещи для сравнения. Объяснение всё равно должно быть заслужено.
Мой окончательный ответ определил агента, затем связал его с интеллектом, обучением, приоритетами и поведением. Эта последовательность была тем, что я пытался сохранить на протяжении всей дискуссии.
Последствие выходит за рамки того, как мы описываем чат‑бота. Если продукт удерживает ответ, тест на способность задает вопрос, может ли система предоставить корректный ответ. Запрос полномочий спрашивает, что регулирует его выпуск. Обзор продукта спрашивает, служит ли это правило людям, которые его используют. Эти запросы могут возвращать разные ответы без противоречия.
Разделение «способность/агент» позволяет всем им существовать.
Люди и учреждения выбирают цели, процедуры обучения, иерархии инструкций, разрешения и условия работы. Эти выборы помогают установить, чему агент отступает. Их эффекты могут быть реализованы внутри весов модели, а также вне их.
Определение ответственности, следовательно, требует изучения того, кто контролировал какие решения, что они могли знать и что они могли изменить. Призвать результат «решением интеллекта» оставляет эти вопросы без ответа. Ответственность за проект остаётся у людей и учреждений, ответственных за него, даже когда они не могут предсказать каждый ответ.
Это продолжается с различием между агентом и его знанием, и с моей работой над достоинством, ответственностью и ясностью: точное приписывание действия является частью того, чтобы сделать его последствия подотчетными.
Первая фраза потребовала мгновения видимой педантичности. Его возвращение — набор вопросов, которые теперь можно задавать отдельно, о реальных системах: что он может делать, что регулирует его поведение, и кто установил это управление?
От меня. Различие между интеллектом и агентом, способным к подчинению, непрерывно с моей работой знаний/знающего. Публичный обмен на X, на который отвечает статья, и мои ответы в нём. Требование, чтобы различие открывало учёт механизмов поведения ИИ, включая пост‑обучение, вместо того чтобы завершаться как философское определение. Вопросы о выборе, изученных ценностях и людях, которые устанавливают приоритеты.
От Claude Opus 5. Формулировки власти и смещения, и различие между выбором и авторством; выбор остался.
От GPT-6 Astra. Пример покорности: агент может понять запрос и знать, как его выполнить, при этом отказываясь от более высокого приоритета. Он проверил технические утверждения по сравнению с первичными исследованиями и составил эту статью из записи.
Критики, которые остались.
От меня: я спросил, почему «авторство» вообще вошло в аргумент. Это подняло новую философскую проблему, прежде чем читатель понял, как действует обученная система, и мы это опустили.
От меня: ответы продолжали отклоняться в сторону общих описаний агентства. Я вернул обе модели к механизмам ИИ; учёт выбора, изученных и навязанных приоритетов, и власть является результатом.
От Claude Opus 5: мой язык принуждения и диктированного агентства преувеличил случай. Статья говорит о власти как о приоритете, назначенном внутри системы.
От GPT-6 Astra: «Подчинение — это смещение суждения» создало конфликтный случай, который стоит за всей связью; пост‑обучение делает больше, чем ограничивает интеллект; благосклонное отказ не доказывает кондиционирование без оценки; расстояние между базовой и пост‑обученной моделями не измеряет смещённое суждение. Статья сужает, корректирует или удаляет каждое утверждение.
Достигнуто вместе. Различие, которое может существовать в общей машине: агент действует, интеллект вносит вклад в способность, а власть помогает регулировать действие. Приказ может оставаться активным при соблюдении. И оценочная последствие, моя настойчивая цель в словах Астра: изменение соблюдения само по себе не устанавливает изменение интеллекта.
Счёт. 30 существенные сообщения от меня в рамках 2 модельных бесед до того, как статья была запрошена, смешивая диктованные уточнения с вставленными постами и черновиками. Он учитывает записанные сообщения, а не голосовые записи или независимые идеи.
