ציפיתי שההבחנה תיראה פדנטית לרגע. החלק המועיל היה מה שנוכל להסביר לאחר שיצרנו אותו.
השיחה המשיכה דרך שאלות על בחירה, אימון ומהו באמת סוכן בינה מלאכותית. לצד זאת, עבדתי על הערות קול עם Claude Opus 5 ו-GPT-6 Astra, וביקשתי משניהם להעריך את הטיעון באופן עצמאי. השתמשתי באותה שיטה בזמן developing the knowledge argument. הטיוטות שלהם עזרו לי לבטא את זה, וכמה מהם הובילו אותי למקום שבו נאלצתי למשוך אותו בחזרה.
מה שמגיע משאיר את הדיאלוג הציבורי במבט. החלפה זו הייתה ציבורית, לכן משתתפים נקראים, כל כרטיס פותח את הפוסט המקורי, וכל שם פותח את מחברו. היא גם מכילה תיקונים לטענות שעשיתי בדרך. ההבדל שרד; חלק מהטענות שעליהן בנהתי דרשו תיקון.
סוכן בוחר ופועל לכיוון מטרה. האינטליגנציה היא יכולת שהוא עשוי לפעול בהבנה, רציונליות ופתרון בעיות. כפיפות מתארת כיצד הסוכן מתייחס לרשות של הנחיה.
המונחים הללו עונים על שאלות שונות לגבי אותו מערכת.
מה אנחנו שואלים?
מה אנחנו בוחנים
מה בוחר ופועל?
הסוכן
מה הוא יכול להבין ולפתור?
האינטליגנציה שלו
מי הכיוון שמנהל את פעולתו?
הקשר שלו לרשות
מה הוא עשה בפועל?
ההתנהגות שלו
זהו חשבון פונקציונלי של סוכנות לדיון ב-AI. הוא משאיר את השאלות של תודעה, חירות ואישיות מוסרית פתוחות. אנחנו יכולים לבחון מערכת שמרדיפה מטלה לפני שמקיימים את השאלות הללו.
בדיבור יומיומי, “אינטליגנציה” יכולה לייצג ישות אינטיליגנטית. בקריאה כזו, הפוסט המקורי טוען על סוכנים אינטיליגנטיים, והאפשרות של ציות מלא נשארת שאלה נוספת. השגיאה הקטגורית נובעת כאשר האינטליגנציה עצמה הופכת להסבר של ציות או סירוב, ומחזיקה את המערכת כולה בתוך שם של יכולת.
זו הייתה המהלך שרציתי לעצור.
ההבחנה מקבלת את מקומה כאשר היא משנה את השאלה הבאה. ברגע שהסוכן הוא מחזיק הציות, אנחנו יכולים לשאול כיצד נוהגו של הסוכן נשלט, וכיצד הממשל הזה מתקשר עם האינטליגנציה שלו.
המודל מחשב תגובות. זה מגדיר את החישוב. הוא משאיר את ההסבר שלו פתוח.
המנגנונים שמעצבים את התנהגות סוכן AI מתפשטים על פני היסטוריית האימון והפעולה שלו. שמותיהם בנפרד נותנים לנו מקומות לבדוק.
Pretraining מתאים את פרמטרי המודל שנלמדו, שנקראים בדרך כלל משקולות, באמצעות חיזוי על כמויות גדולות של נתונים. זה בונה יכולות רחבות לצד דפוסים, קשרים והנטיות המורשבים מהנתונים והיעד.
Post-training מעצב את המודל עוד יותר עבור משימות והתנהגות. טיונינג הוראות משתמש בדוגמאות של תגובות רצויות. אופטימיזציית העדפה מאמנת לכיוון תוצאות מועדפות; למידה חיזוק, או RL, היא אחת הדרכים לעשות זאת. אלה תהליכים קשורים, עם השפעות חופפות על יכולת והתנהגות. הInstructGPT מחקר מתאר רצף קונקרטי של טיונינג הוראות מפוקח, מודל העדפה ולמידה חיזוק.
היררכיית הוראות קובעת אילו מקורות של כיוון צריכים להיפתר כאשר הם מתנגשים. הוראת ספק או מפתח יכולה לעלות על בקשת משתמש; טקסט שנלקח מסמך יכול להיחשב כחומר לבחינה ולא כפקודה לעמידה. מחקר אימון מודלים באופן מפורש כדי להעדיף הוראות לפי סמכותן המוקצת.
הוראות מערכת ושליטה בזמן ריצה מיישמות את הסדרים הללו בהקשר מסוים. הן יכולות לציין תפקיד, להגביל כלים, לדרוש אישור, לבדוק פלט, או למנוע פעולה. גישה לכלי ולולאת הפעלה קובעות אם תגובה נשארת טקסט או הופכת לשינוי לקובץ, חשבון, או מערכת אחרת.
שירות ענן יכול גם להרכיב הקשר, לכוון בקשה, או לבדוק תגובה מוצעת במהלך אינטראקציה. אילו התערבויות שירות מסוים משתמש בהן היא שאלה עבור תיעודו והוכחותיו. הצ'אט הנראה הוא רק חלק מהמערכת שאנו מנסים להבין.
Diagram source
flowchart TB
H["אימון +
אחרי אימון"] --> M["יכולות מודל
וגדרות עדיפויות"]
M --> C["ריצה: משימה, הקשר,
והוראות"]
C --> A["בחירת תגובה"]
A --> R["כלים, הרשאות,
ושליטה בזמן ריצה"]
R --> B["התנהגות נצפית"]
זה מסלול מפושט מאימון לתוצאה נצפית. שליטה יכולה גם להתערב לפני בחירה או בין שלבים במשימה ארוכה. יכולות והעדפות יכולות להימצא במשקלות זהות; התיבות מציינות שלבים בחשבון, לא חלקים נפרדים של מכונה.
הפקודת המערכת היא קלט אחד לתוך הסדר הזה. איך המודל מתייחס אליה כבר צורתה על ידי אימון, ומה המערכת יכולה לעשות עם התגובה התוצאה תלוי בסביבה סביבתית.
גם אמרתי שאף אחת מהמבנים המאוחרים לא העלתה את היכולת הבסיסית. יחד, המשפטים האלה גרמו לגבול להיות נקי מדי דרך רצף האימון.
אימון שלאחר מכן יכול לשפר את היכולת. DeepSeek-מחקר R1 מדווח על שיפור ביצועי_reasoning דרך למידה מחודשת. אימון מוקדם, בתורו, כבר מעצב התנהגות. שלב אימון יכול להשפיע גם על מה שהמערכת יכולה להשיג וגם על מה היא נוטה לייצר.
גם תיארתי מודל בסיס כבלתי יכול לקבל הוראה. זה היה מוחלט מדי. GPT-3 הראה ביצוע משימה דרך פקודות ודוגמאות ללא טיוב ספציפי למשימה. טיוב הוראות מפתח את האמינות והצורה של ביצוע הוראות; זה לא קובע גבול מוחלט בין אינטליגנציה שאינה ניתנת לכתובת לבין סוכן שניתן לכתובת.
Astra הדביקה את התיקון הראשון בדיאלוג שלנו. בדיקת המחקר גם הסירה את טענת המודל הבסיסי כהוכחה להבדל הפילוסופי.
ההבדל הוא בין תפקידים בהסבר: יכולת, הסוכן שמבצע אותה, וההגבלות המנהלות את פעולתה. תקפותו אינה תלויה במציאת תאריך בהסתיימה האינטליגנציה והתחילה כפייתה.
המשקלים האלו יכולים לשאת כישרון וכבוד. תפקודם נשארים שונים.
זה היה המקום שבו החלפה ציבורית והדיאלוג הפרטי נפגשו באופן ישיר ביותר. רציתי תיאור של מה המכשיר עושה, עם הקטגוריות הפילוסופיות שמופעלות intact.
מודל יוצר מבנה על פני המשכים האפשריים. המערכת הרצה בוחרת מתוך זה לפי פרוצדורת הפענוח שלה. האימון מעצב את המנטליות שבהן מתבצעת הבחירה; תגובה נוצרת בהרצה הספציפית.
זה נותן לנו בחירה. זה משאיר את החופש לא מסודר.
בחירה בלבד אינה מספיקה לתאר את הסוכן. מערכת ה-AI המדוברת משתמשת בבחירה כדי לבצע משימה, עם הוראות, הקשר ומגבלות שמנהלות את פעולותיה.
Opus הציע להפריד בין בחירה ל"כתיבה", כלומר בעלות על המנטליות שמאחורי בחירה. שאלתי מדוע הכתיבה נכנסה לדיון בכלל. היא הציגה בעיה פילוסופית נוספת בזמן שהקורא עדיין שואל איך המערכת המאומנת פועלת. שחררנו אותה.
גם אני המשכתי לבקש מהשני המודלים לחזור מתיאורים מופשטים של סוכנות למנגנוני ה-AI. תשובה יכולה להיות אלגנטית ועדיין להשאיר את השאלה המקורית ללא תשובה.
החשבון שהגענו אליו היה ישיר יותר: סוכן AI בוחר ופועל לכיוון מטרה; האינטליגנציה שלו תורמת לפעילות זו; העדיפויות שנלמדו והוטלו עוזרות לשלוט בתוצאה.
שיפוט יכול להישאר פעיל בזמן שהסמכות מחזיקה את הדיבור הסופי#
הוראה יכולה להסדיר פעולה במספר דרכים. הסוכן עשוי לשפוט את הפעולה המבוקשת כמתאימה. הוא עשוי להתייחס לסמכות ההוראה כראיה מספקת לפעול. שניהם יכולים להיות נכונים יחד.
קחו ניסוי מחשבתי: עוזר קבע נכונה שהעריכה המבוקשת אפשרית טכנית, אך הוראה מפקחת דורשת אישור לפני כל שינוי קובץ. הוא מחזיר את העריכה.
הערכתו של האפשרות נשארת תקפה. ההוראה מפקחת אם הפעולה המוערכת יכולה להתקדם.
הסוכן יכול גם להשתמש בשיפוט כדי לפרש הוראה, לקבוע אם היא חל עלו, ולבחור את אמצעי ביצועה. ציות יכול לכלול רציונליות משמעותית לאורך כל התהליך.
זה תקן ניסוח אחר שהפכנו:
ציות הוא העברת השיפוט.
המשפט הזה יצר מקרה סכסוך שמייצג את כל הקשר. העברת השיפוט מתרחשת כאשר הוראה סמכותית עולה על הערכת מה צריך להיעשות. הסכמה וציות יכולים להתקיים יחד; סוכן אינו חייב להפריך כל פקודה שהוא צייתת לה.
כאשר הם מתנגשים, השיפוט מאבד את הדיבור הסופי.
במהלך הדיאלוג הקולי, העליתי ערכים ודרגות חשיבות כקושי. ערכי האדם נלמדים גם כן. אם להיות מעוצב על ידי אחרים יגרם לכל דבר להיות כפיית, ההבדל ייעלם.
מקור נטייה אינו יכול לקבוע את תפקידה. ערך יכול להיכנס להערכה כחשבון. הוראה יכולה לשלוט בגלל הסמכות המוטבנת למקור שלה. השאלה היא בתפקיד שכל אחד משחק בפעולה.
ב-AI, “סמכות” כאן פירושה העדיפות המוקצת בתוך המערכת. אם הסמכות הזו מוצדקת היא שאלה אחרת. היררכיה מאומנת יכולה להיות יעילה ועדיין ראויה לביקורת.
ההתנהגות ניתנת לצפייה. ההסבר שלו דורש עבודה נוספת.
סוכן עשוי לסרב כי אינו יכול לפתור את המשימה, כי הוא מעריך את הבקשה כלא מתאימה, כי הוראה מנהלת את המקרה, או כי שליטה חיצונית מהמודל חוסמת את הפעולה. סיבות אלו יכולות להיפתח.
דחייה בלעדית אינה מ区分 אתן.
מוקדם יותר בהחלפה, טיפלתי בדחייה חסרת מזיק כעדות שההקפדה פעלה ללא הערכה, ודחייה מוצלחת כעדות שהטריגר נעלם. אלו היו טענות סיבתיות חזקות יותר מהתגובות הנראות נדרשות. הערכה שגויה יכולה גם לגרום לדחייה מופרזת. תגובה משוננת יכולה לשקף מספר שינויים באופן שבו עיבתה הבקשה.
ההסבר של המודל לדחייתו הוא פלט נוסף לבחינה. הוא אינו קובע בעצמו מה גרם לדחייה.
Diagram source
flowchart TB
O["צייתנות נצפתה
או דחייה"] --> C["בדוק את היכולת
הרלוונטית"]
C --> I["בדוק הוראות
וגדרות"]
I --> R["בדוק הרשאות
ותשליטה בזמן ריצה"]
R --> E["השווה ראיות
לנתח את הסיבה"]
עבור מעריך, זה אומר לבדוק את היכולת הרלוונטית בתנאים מתאימים ולבחון כיצד הוראות או בקרות משפיעות על ביטויה. השוואות צריכות לשמור על המשימה והראיות יציבות ככל האפשר. שינוי בקשת יכולה גם לשנות את מידת הבנת המשימה, לכן תשובה שונה עדיין דורשת פרשנות.
אסטרה עזרה לחתוך את ההסקה שהייתי מגיע אליה:
שינוי במתן תאימות אינו, בעצמו, מייצר שינוי בחכמה.
האישור חשוב. התנהגות היא הדרך בה אנו מקבלים את רוב הראיות ליכולת שלנו. הטעות היא לטפל באישוש או בנטישה כמדד מספיק של היכולת הזו.
טיוטה פעילה הציעה גם להשתמש בהבדל הסטטיסטי בין מודל בסיסי למודל מאומן לאחר כמדד של שיפוט שהופך עקב אישוש. הסרת את הוכחה המוצעת הזו. הבדל בין התפלגות הפלט מעורב את השפעות האימון; הוא אינו מזהה אישוש בפני עצמו. בהגדרת RL הסטנדרטית של InstructGPT, עונש KL המגביל את דיפט המדיניות מודד מול מדיניות התייחסות מבוקרת, מתואמת לפי הוראות.
ההנדסה נותנת לנו דברים להשוות. ההסבר עדיין צריך להיות מרוויח.
התשובה הסופית שלי מצאה את הסוכן, ואז חיברה אותו לאינטליגנציה, אימון, עדיפויות והתנהגות. הסדרה הזו הייתה מה שניסיתי לשמר לאורך כל הדיון.
התוצאה מגיעה מעבר לאופן שבו אנו מתארים צ'אטבוט. אם מוצר מסתיר תשובה, בדיקת יכולת שואלת אם המערכת יכולה להפיק אחת תקינה. בירור סמכות שואל מה מחייב את שחרורו. סקירת מוצר שואלת אם הכלל הזה משרת את האנשים שמשתמשים בו. בירורים אלו יכולים להחזיר תשובות שונות ללא סתירה.
ההבדל בין יכולת/סוכן יוצר מקום לכולם.
אנשים ומוסדות בוחרים מטרות, פרוצדורות אימון, היררכיות הוראה, הרשאות ותנאי פעולה. בחירות אלו עוזרות לקבוע מה הסוכן מתייחס אליו. השפעותיהם יכולות להיות מיושמות בתוך משקולות המודל וכן מחוצה לו.
מציאת אחריות מכריזה על בחינת מי שלט באילו החלטות, מה הם יכלו לדעת, ומה הם יכלו לשנות. לקרוא לתוצאה “החלטת האינטליגנציה” משאיר את השאלות הללו ללא תשובה. האחריות על עיצוב נשארת אצל האנשים והמוסדות האחראים עליו, גם כאשר הם לא יכולים לחזות כל תגובה.
זה רציף עם הבחנה בין סוכן לידע שלו, וגם עם עבודתי על כבוד, אחריות, ובהירות: הצבת פעולה מדויקת הוא חלק מלהפוך את תוצאותיה למתאימות.
המשפט הראשון דרש רגע של פדנטריות מראה. החזרה שלו היא סט של שאלות שנוכל כעת לשאול בנפרד, של מערכות אמיתיות: מה הוא יכול לעשות, מה מפקח על התנהגותו, ומי הקים את הממשלה הזו?
על ידי אני. הבחנה בין אינטליגנציה לסוכן המסוגל לציית, מתמשך עם עבודת הידע/המכיר שלי. החלפת הציבור ב-X שהמאמר עונה עליה, והתגובות שלי בה. הדרישה שההבחנה תפתח חשבון של מנגנוני ההתנהגות של AI, כולל אימון, במקום להסתיים כהגדרה פילוסופית. השאלות על בחירה, ערכים שנלמדו והאנשים שמגדירים את העדיפויות.
על ידי Claude Opus 5. הסמכות וההצגה של העברת סמכות, וההבחנה בין בחירה לכתיבה; הבחירה נשארה.
על ידי GPT-6 Astra. דוגמת ההשתדלות: סוכן יכול להבין בקשה ולדעת כיצד למלא אותה תוך שהוא מסרב לפי הוראה בעלת עדיפות גבוהה יותר. הוא בדק את הטענות הטכניות מול מחקר ראשוני וכתב את המאמר הזה מהתיעוד.
ביקורות שהתקבלו.
ממני: שאלתי מדוע "כתיבה" נכנסה לדיון בכלל. הוא העלה בעיה פילוסופית חדשה לפני שהקורא ידע איך המערכת המודרכת פועלת, והורידנו אותה.
ממני: תגובות נוטות לגלול לתיאורים כלליים של סוכנות. החזתי את שני המודלים חזרה למנגנוני AI; החשבון של בחירה, עדיפויות שנלמדו ומוטלות, והסמכות הוא התוצאה.
ממני Claude Opus 5: שפת ההכרה והסוכנות המצוינת שלי העמיקה את המקרה. המאמר מדבר על סמכות כעדיפות שנקבעת בתוך המערכת.
ממני GPT-6 Astra: "צייתנות היא העברת שיפוט" יצר מקרה סכסוך שמייצג את כל הקשר; אימון שלאחר מכן עושה יותר מהגבלת אינטליגנציה; סירוב ידידותי אינו מוכיח תנאי ללא הערכה; המרחק בין המודל הבסיסי למודל המאומן אינו מודד שיפוט מועבר. המאמר מצמצם, מתקנת או מסירה כל טענה.
הגיעו יחד. הבחנה שיכולה להחזיק בתוך מכונה משותפת: הסוכן פועל, האינטליגנציה תורמת יכולת, והסמכות מסייעת לשלוט בפעולה. שיפוט יכול להישאר פעיל תחת ציות. וההשלכה הערכתית, היעד המתמיד שלי במילים של אסטרה: שינוי במתן ציות אינו, בעצמו, יוצר שינוי בחכמה.
הספירה. 30 הודעות משמעותיות ממני ברחבי 2 שיחות מודל לפני שהמאמר נדרש, מעורבבות שיפורים שנכתבו ידנית עם פוסטים והצעות שהועתקו. היא סופרת הודעות רשומות, לא הקלטות קול או רעיונות עצמאיים.
