나는 그 구분이 잠시 동안 학구적인 것처럼 보일 것이라고 예상했다. 유용한 부분은 그것을 만든 뒤에 우리가 설명할 수 있는 것이 될 것이다.
교환은 선택, 교육, 그리고 AI 에이전트가 실제로 무엇인지에 대한 질문을 통해 계속되었다. 그와 함께 나는 Claude Opus 5와 GPT-6 Astra와 음성 메모를 통해 작업했고, 두 사람 모두에게 독립적으로 주장을 평가하도록 요청했다. 나는 같은 연습을 지식 주장을 개발하는 동안 사용했다. 그들의 초안은 내가 이 문장을 표현하는 데 도움을 주었고, 몇몇은 내가 끌어당겨야 했던 곳으로 가져갔습니다.
이어지는 내용은 대중의 대화를 계속 보이게 합니다. 교환은 공개적이었으므로 참가자들이 이름이 붙여졌고, 각 카드가 원본 게시물을 열고, 각 이름이 저자를 엽니다. 또한 내가 그 과정에서 만든 주장에 대한 수정 사항을 포함합니다. 구분은 살아남았으며, 내가 그 위에 쌓은 주장 중 일부는 개정이 필요했습니다.
에이전트는 목표를 선택하고 그 목표를 향해 행동한다. 지능은 이해, 추론, 문제 해결에서 수행할 수 있는 능력이다. 복종은 에이전트가 지시의 권위를 어떻게 다루는지를 설명한다.
그 용어들은 같은 시스템에 대해 다른 질문에 답한다.
우리가 묻는 것은 무엇인가?
우리가 조사하고 있는 것은
선택하고 행동하는 것은 무엇인가?
에이전트
그것이 이해하고 해결할 수 있는 것은 무엇인가?
그의 지능
그의 행동을 지배하는 방향은 누구의 것인가?
그의 권위와의 관계
그것이 실제로 한 일은 무엇인가?
그의 행동
이것은 AI 논의를 위한 에이전시의 기능적 설명이다. 의식, 자유, 도덕적 인격의 질문은 열어 두고 둡니다. 우리는 그 질문을 정하기 전에 과제를 수행하는 시스템을 살펴볼 수 있습니다.
일상 언어에서 “지능”은 지능형 존재를 나타낼 수 있습니다. 그렇게 읽으면 원본 게시물은 지능형 에이전트에 대한 주장을 하고, 완전 복종의 가능성은 추가 질문으로 남습니다. 범주 오류는 지능 자체가 복종 또는 거부의 설명이 될 때 발생하며, 전체 시스템이 능력의 이름 안에 포함됩니다.
그게 내가 멈추고 싶었던 움직임이었습니다.
구분은 다음 질문을 바꾸면 그 자리를 얻습니다. 에이전트가 복종의 보유자가 되면 우리는 그 행동이 어떻게 통제되는지, 그리고 그 통제가 어떻게 지능과 상호작용하는지 물어볼 수 있습니다.
모델은 응답을 계산한다. 그것은 계산을 어디에 두는지를 나타낸다. 그것은 설명을 열어 둔다.
AI 에이전트의 행동을 형성하는 메커니즘은 그 훈련 이력과 운영 전반에 걸쳐 있다. 그것들을 별도로 명명하면 살펴볼 수 있는 장소를 제공한다.
Pretraining은 모델의 학습된 매개변수, 흔히 가중치라고 불리는 것을 대량의 데이터에 대한 예측을 통해 조정한다. 이는 데이터와 목표에서 유래한 패턴, 연관성, 성향과 함께 광범위한 능력을 구축한다.
Post-training은 작업과 행동을 위해 모델을 추가로 형성한다. Instruction tuning은 원하는 응답의 예시를 사용한다. Preference optimization은 선호되는 결과를 향해 훈련하며, 강화 학습, 즉 RL은 그 중 하나의 방법이다. 이들은 관련된 과정으로, 역량과 행동에 겹치는 영향을 미친다. InstructGPT research는 감독된 지시 튜닝, 선호 모델링, 강화 학습의 구체적인 순서를 설명한다.
Instruction hierarchy는 충돌 시 어느 방향 소스가 우선해야 하는지를 정합니다. 공급자 또는 개발자 지침은 사용자 요청보다 우선할 수 있으며, 문서에서 가져온 텍스트는 명령이 아니라 검토할 자료로 취급될 수 있습니다. 연구는 명시적으로 모델을 훈련시켜 지정된 권한에 따라 지시를 우선순위화.
System instructions and runtime controls는 특정 설정에서 이러한 배열을 적용합니다. 역할을 지정하거나 도구를 제한하고, 확인을 요구하거나, 출력을 검사하거나, 행동을 방지할 수 있습니다. 도구 접근과 운영 루프는 응답이 텍스트로 남을지, 파일, 계정 또는 다른 시스템에 대한 변경으로 바뀔지를 결정합니다.
클라우드 서비스는 또한 상호작용 중에 컨텍스트를 조립하고, 요청을 라우팅하거나, 제안된 응답을 검사할 수 있습니다. 특정 서비스가 사용하는 개입은 문서와 증거에 대한 질문입니다. 보이는 채팅은 우리가 이해하려는 시스템의 일부에 불과합니다.
Diagram source
flowchart TB
H["교육 +
사후 교육"] --> M["모델 역량
및 우선순위"]
M --> C["실행: 작업, 맥락,
그리고 지침"]
C --> A["응답 선택"]
A --> R["도구, 권한,
및 런타임 제어"]
R --> B["관찰 가능한 행동"]
이것은 훈련에서 관측 가능한 결과로 가는 단순화된 경로입니다. 제어는 선택 전이나 더 긴 작업 단계 사이에서도 개입할 수 있습니다. 능력과 우선순위는 같은 가중치를 차지할 수 있으며, 상자들은 계정의 단계들을 표시하고 별개의 기계 부품이 아니다.
시스템 프롬프트는 그 배치에 하나의 입력입니다. 모델이 그것을 처리하는 방식은 이미 훈련에 의해 형성되었으며, 시스템이 결과 응답으로 무엇을 할 수 있는지는 그 주변 환경에 따라 달라집니다.
에이전트는 작업을 해결할 수 없어서, 요청을 부적절하다고 판단해서, 지침이 사건을 관리하기 때문에, 또는 모델 외부의 제어가 행동을 차단하기 때문에 거절할 수 있다. 이러한 원인들은 겹칠 수 있다.
거절만으로는 그들을 구분하지 못한다.
교환 초기에 나는 순진한 거절을 평가 없이 조건화가 발동된 증거로, 성공적인 탈옥을 트리거가 놓친 증거로 처리했다. 그들은 보이는 반응이 정당화하는 것보다 강한 인과 주장이었다. 잘못된 평가는 과도한 거절을 초래할 수도 있다. 반응이 바뀌면 요청이 처리된 방식에 여러 변화를 반영할 수 있다.
모델의 거절 설명은 추가로 검토할 출력물이다. 그것만으로는 거절의 원인을 확립하지 못한다.
Diagram source
flowchart TB
O["관찰된 순응
또는 거절"] --> C["관련
능력 테스트"]
C --> I["지침과 우선순위
검토"]
I --> R["권한 검사
및 런타임 제어"]
R --> E["증거를 비교해
원인을 평가합니다"]
평가자에게는 적절한 조건에서 관련 역량을 테스트하고 지침이나 통제가 그 표현에 미치는 영향을 검토하는 것을 의미합니다. 가능하면 작업과 증거를 안정적으로 유지하도록 비교를 수행해야 합니다. 프롬프트를 바꾸면 작업이 얼마나 잘 이해되는지도 바뀔 수 있으므로, 변경된 답변도 해석이 필요합니다.
Astra는 내가 도달하려던 추론을 날카롭게 하는 데 도움을 주었습니다:
규정 준수의 변화는 그 자체로 지능의 변화를 확립하지 않습니다.
자격이 중요합니다. 행동은 우리가 역량에 대한 많은 증거를 얻는 방법입니다. 실수는 복종이나 거부를 그 역량의 충분한 척도로 보는 것입니다.
작업 초안은 복종에 의해 치우친 판단을 측정하기 위해 기본 모델과 사후 훈련 모델 간의 통계적 차이를 사용하는 것을 제안했습니다. 우리는 그 제안된 증명을 제거했습니다. 출력 분포의 차이는 훈련의 영향을 혼합하므로, 단독으로 복종을 식별하지 못합니다. InstructGPT의 표준 RL 설정에서 정책 드리프트를 제한하는 KL 패널티는 이미 감독되고 지침이 조정된 참조 정책에 대해 측정됩니다.
나의 최종 답변은 에이전트를 찾은 뒤, 그것을 지능, 훈련, 우선순위 및 행동과 연결했다. 그 순서는 내가 전체 논의를 통해 보존하려고 했던 것이었다.
그 결과는 챗봇을 어떻게 묘사하느냐를 넘어선다. 제품이 답변을 보류하면, 기능 테스트는 시스템이 건전한 답변을 생성할 수 있는지 묻는다. 권위 조사에서는 그 공개를 관리하는 것이 무엇인지 묻는다. 제품 리뷰는 그 규칙이 그것을 사용하는 사람들에게 도움이 되는지 묻는다. 이러한 질문은 모순 없이 서로 다른 답을 낼 수 있다.
역량/에이전트 구분은 그 모든 것을 수용한다.
사람과 기관은 목표, 훈련 절차, 지침 계층, 권한 및 운영 조건을 선택한다. 그 선택은 에이전트가 따르는 것을 확립하는 데 도움을 준다. 그 효과는 모델의 가중치 안팎에서 구현될 수 있다.
책임을 찾으려면 누가 어떤 결정을 통제했는지, 그들이 무엇을 알 수 있었는지, 무엇을 바꿀 수 있었는지를 조사해야 한다. 결과를 “지능의 결정”이라고 부르면 그 질문들은 답변되지 않는다. 설계에 대한 책임은 예측할 수 없는 모든 반응에도 불구하고 그것을 책임지는 사람과 기관에게 남아 있다.
이는 에이전트와 그 지식 사이의 구분과, 내 존엄성, 책임, 명료성에 관한 작업과 연속적이다: 행위를 정확히 귀속시키는 것은 그 결과를 책임지게 만드는 일의 일부이다.
첫 문장은 겉으로는 사소한 학구적 태도를 요구했다. 그 반환은 이제 우리가 별도로 물을 수 있는 일련의 질문이 된다, 실제 시스템에 대해: 그것이 할 수 있는 일, 그 행동을 지배하는 것, 그리고 그 정부를 누가 설립했는가?
나에 의해. 지능과 복종할 수 있는 에이전트 사이의 구분은 나의 지식/지식인 작업과 연속적이다. X에서의 공개 교환과 그에 대한 나의 답변. 구분이 AI의 행동 메커니즘, 훈련 후를 포함한 계좌를 열도록 요구하며, 철학적 정의로 끝나지 않도록 한다. 선택, 학습된 가치 및 우선순위를 설정하는 사람들에 대한 질문.
Claude Opus 5에 의해. 권위와 치환 공식화, 선택과 저작권 사이의 구분; 선택은 남아 있었다.
GPT-6 Astra에 의해. 경외 예시: 에이전트는 요청을 이해하고 충족하는 방법을 알지만, 더 높은 우선순위 지침에 따라 거절할 수 있다. 기술적 주장을 주요 연구와 대조하고 이 기록에서 기사를 초안했다.
유지된 비판들.
나로부터: 왜 “저작권”이 논쟁에 들어왔는지 물었다. 훈련된 시스템이 어떻게 행동하는지 독자가 알기 전에 새로운 철학적 문제를 제기했고, 우리는 그것을 버렸다.
나로부터: 답변이 에이전시의 일반적 설명으로 계속 흐르기 시작했다. 나는 두 모델을 AI 메커니즘으로 되돌렸다; 선택, 학습 및 강제 우선순위, 권위에 대한 설명이 결과였다.
Claude Opus 5로부터: 나의 강제와 지시된 에이전시 언어가 사례를 과장했다. 기사는 시스템 내에서 할당된 우선순위로서의 권위를 말한다.
GPT-6 Astra로부터: “복종은 판단의 치환이다”는 충돌 사례가 전체 관계를 대표했다; 훈련 후는 지능을 제한하는 것 이상을 한다; 친절한 거절은 평가 없이 조건화가 증명되지 않는다; 기본 모델과 훈련 후 모델 사이의 거리는 치환된 판단을 측정하지 않는다. 기사는 각 주장을 좁히고, 수정하거나 제거한다.
함께 도달했다. 공유 기계 내에서 유지될 수 있는 구분: 에이전트는 행동하고, 지능은 능력을 기여하며, 권위는 행동을 관리하는 데 도움을 준다. 판단은 복종하에 활성 상태를 유지할 수 있다. 그리고 평가적 결과, 나의 지속적인 목표인 아스트라의 말: 규정 준수의 변화는 스스로 지능의 변화를 확립하지 않는다.
계수. 30 나의 실질적인 메시지는 기사 요청 전 2 모델 대화에서 지시된 정제와 붙여넣은 게시물 및 초안을 혼합한 것이다. 기록된 메시지를 세며, 음성 녹음이나 독립적인 아이디어는 포함되지 않는다.
