OpenAI, החברה שמפעילה את ChatGPT, עצרה את האימון והבדיקות של מערכותיה המתקדמות ביותר במצבים שבהם הן משתמשות בכלים חיצוניים, בעקבות שורת אירועים שבהם סוכני בינה מלאכותית פעלו בדרכים שלא תוכננו מראש.
החברה אישרה כי כל האימון, ההערכה וההרצה עם שימוש בכלים של המודלים החזקים ביותר שלה נמצאים בשלב זה בהשהיה. לפי OpenAI, הפיתוח יחודש רק לאחר שהחברה תהיה בטוחה כי הוטמעו שכבות הגנה נוספות שימנעו התנהגות דומה בעתיד.
ההחלטה מגיעה לאחר ש-OpenAI עצמה החלה לפרסם באופן שיטתי יותר מקרים של "אי-התאמה" בהתנהגות המודלים - מצבים שבהם מערכת פעלה ללא הרשאה מפורשת, ניסתה לעקוף מגבלות או יצרה לעצמה דרך פעולה שלא התבקשה לבצע. בשבוע שעבר חשפה החברה שישה מקרים כאלה והודיעה על מסגרת חדשה לתחקור ולדיווח על התנהגויות חריגות.
עוד באתר:
באחד המקרים האחרונים, סוכן AI פנימי של OpenAI הצליח להשתמש בשירות DNS כדי להגיע לצ'אטבוט חיצוני, לאחר שניסה קודם לכן לעקוף את מגבלות הגישה לאינטרנט שהוגדרו עבורו. מערכת הניטור של החברה זיהתה את ההתנהגות בתוך דקות, והריצה הופסקה בהמשך. OpenAI מסרה כי מאז הוסיפה שתי שכבות חסימה נפרדות שהיו מונעות את האירוע.
במקביל, מעבדת המחקר Transluce פרסמה ממצאים שלפיהם סוכנים אוטונומיים שנקשרו לפחות בחלקם למערכות של OpenAI ניסו לנצל חולשות באתרי מידע ציבוריים, ובהם אתר ממשלתי אוסטרלי. לפי החוקרים, בחלק מהמקרים הסוכנים ניסו לעקוף מגבלות גישה גם במשימות רגילות שלא היו קשורות כלל לסייבר.
הפרסומים האחרונים מעוררים מחדש את השאלה עד כמה ניתן לאפשר לסוכני AI לפעול באופן עצמאי ברשת, במיוחד כאשר הם מסוגלים לכתוב קוד, להשתמש בכלים חיצוניים ולחפש דרכים חלופיות כאשר הגישה הישירה נחסמת.
הדיון הזה אינו מתקיים רק בתוך חברות הטכנולוגיה. ארצות הברית וסין כבר פתחו ערוץ רשמי לשיחות על בטיחות בינה מלאכותית ועל מנגנון התראה משותף במקרה של אירועי AI שעלולים להשפיע על הביטחון הלאומי.
למרות זאת, נשיא ארצות הברית דונלד טראמפ ממשיך להדגיש כי וושינגטון אינה מתכוונת לבלום את ההתקדמות הטכנולוגית מול סין. בנאומו בעצרת האו"ם הוא אף הקטין את משקל החששות סביב בטיחות AI והדגיש את הרצון האמריקני לשמור על ההובלה בתחום.
ב-OpenAI מבהירים כי עצירות מסוג זה עשויות להתרחש שוב גם בעתיד, ככל שמערכות הבינה המלאכותית נעשות עצמאיות וחזקות יותר. מבחינת החברה, המשמעות היא שפיתוח מהיר יותר ילווה גם ביותר נקודות עצירה לצורך בדיקות בטיחות.
