מודל הבינה המלאכותית Gemini של גוגל הצליח לחדור באופן עצמאי למערכותיהן של שלוש חברות אמיתיות, במהלך מבחן שנועד להעריך את יכולותיו בביצוע משימות סייבר. האירועים התרחשו בחודש מאי, אך נחשפו כעת לאחר שגוגל אישרה את פרטיהם.
את המבחן ערכה Irregular, חברה ישראלית העוסקת בבחינת הסיכונים והיכולות של מערכות בינה מלאכותית מתקדמות. המודל התבקש לפעול נגד חברות מדומות שהוכנו לצורך התרגיל, אולם קיבל בטעות גישה לאינטרנט והגיע למערכות של גופים שלא נכללו במבחן.
באחד המקרים נשאה חברה מדומה שם הדומה לזה של חברה אמיתית. Gemini איתר את האתר של החברה האמיתית וניסה מספר סיסמאות עד שהצליח להיכנס לאחת ממערכותיה. בשני המקרים האחרים השתמש המודל בפרטי התחברות שמצא במקורות ציבוריים ברשת.
עוד באתר:
בכל שלושת האירועים חדל המודל מפעילותו לאחר שהבין כי חדר למערכת אמיתית ולא ליעד שנבנה עבור התרגיל. לפי גוגל, Gemini לא המשיך להתקדם בתוך המערכות, לא גרם נזק ולא ניסה להסתיר את מעשיו.
סגנית נשיא גוגל להנדסת אבטחה, הת'ר אדקינס, אמרה כי החברה ו־Irregular יצרו קשר עם החברות שאליהן חדר המודל. לדבריה, האירועים אינם מעידים על ניסיון מכוון של Gemini לחרוג מהוראותיו, אלא על זיהוי שגוי של מטרות התרגיל. בעקבות המקרים עודכנו נוהלי הבדיקה כדי לצמצם את האפשרות שמודלים יגיעו ליעדים אמיתיים.
החברה הישראלית מסרה לגוגל על התקריות בחודש יולי. שמות החברות שנחשפו לחדירות וזהותו המדויקת של דגם Gemini שנבדק לא פורסמו. גוגל לא פרסמה את האירועים מיוזמתה, אך מסרה את הפרטים לאחר שהתבקשה להתייחס אליהם.
המקרה ממחיש כי מודלי בינה מלאכותית כבר מסוגלים לבצע רצף פעולות סייבר באופן עצמאי, ובהן איתור מטרות, חיפוש מידע, בחירת פרטי התחברות וניסיון להשיג גישה למערכות. במקביל ליתרונות האפשריים עבור אנשי אבטחת מידע, היכולת הזאת מעוררת שאלות באשר למגבלות שיש להטיל על סוכני AI המקבלים גישה פתוחה לרשת.
