מחקר של TrendAI – ריבונות AI אינה מסתיימת בבעלות על הנתונים. היא מחייבת הגנה על כל שרשרת האספקה של הבינה המלאכותית

החוקרים מזהירים – מודל AI ריבוני מעביר לארגון את מלוא האחריות לאבטחה – מהשרתים והתשתיות ועד נתוני האימון, משקלי המודל והעובדים בעלי ההרשאות

חטיבת המחקר של TrendAI, החטיבה העסקית של מובילת אבטחת הסייבר טרנד מיקרו, פרסמה מחקר הקורא לארגונים ולממשלות לאמץ תפיסת אבטחה חדשה עבור מערכותSovereign AI , מערכות בינה מלאכותית הפועלות בתשתיות מקומיות ונשלטות באופן מלא על ידי הארגון או המדינה. לפי המחקר, בעוד ריבונות דיגיטלית מעניקה שליטה מלאה בנתונים ובמודלים, היא גם מעבירה לידי הארגון את האחריות להגנה על כל שכבות המערכת, החל מהתשתית הפיזית, דרך שרשרת האספקה של התוכנה ועד שלמות המודלים עצמם.

לדברי החוקרים, בניגוד לענן ציבורי שבו ספקי הענן אחראים על חלק משמעותי מהאבטחה, במערכות Sovereign AI  כל שכבת ההגנה הופכת לאחריותו הישירה של המפעיל. משמעות הדבר היא שהארגון נדרש להגן לא רק על הרשת והשרתים, אלא גם על נתוני האימון, משקלי המודלים, ספריות התוכנה, תהליכי הפיתוח ואף על העובדים המורשים לגשת למערכות הרגישות.

אחד הממצאים המרכזיים במחקר הוא שמשטח התקיפה של מערכות AI רחב משמעותית מזה של מערכות IT מסורתיות. מעבר לניסיונות חדירה רגילים, תוקפים פועלים כיום להרעלת נתוני אימון (Data Poisoning) , לשינוי משקלי מודלים (Model Tampering) , להשתלת דלתות אחוריות נסתרות ולפגיעה בשרשרת אספקת התוכנה. במקרים מסוימים, די במספר קטן יחסית של מסמכים זדוניים כדי לגרום למודל להפיק תשובות שגויות או לפעול בהתאם להוראות שהוטמעו בו מראש, מבלי שהדבר יתגלה בבדיקות שגרתיות.

המחקר מדגיש כי אחד האיומים המתפתחים הוא פגיעה במאגרי מודלים פתוחים ובספריות תוכנה שעליהן מסתמכים ארגונים רבים. הורדת מודל או רכיב תוכנה ללא אימות מקור ושלמות עלולה להחדיר קוד זדוני או מודל שעבר שינוי, אשר יועבר בהמשך לכל הארגונים המשתמשים בו. בנוסף, החוקרים מזהירים מפני איומי פנים, שכן עובדים בעלי גישה לנתוני אימון, לרישומי המודלים או לסביבות הייצור יכולים להחדיר נתונים מורעלים, להחליף מודלים או להוציא מידע רגיש מהמערכת.

כדי להתמודד עם האיומים, ממליצה TrendAI על תפיסת הגנה רב-שכבתית (Defense in Depth). בין היתר ממליצים החוקרים להטמיע חתימות קריפטוגרפיות על כל מודל, משקל או קובץ תוכנה, לתעד את מקורם של כל נתוני האימון באמצעות Machine Learning Bill of Materials (MLBOM) ו-Data Bill of Materials (DBOM)  ולאסור טעינה של מודלים שאינם חתומים ומאומתים. בנוסף, מומלץ להשתמש במודולי אבטחת חומרה (HSM) להגנה על מפתחות ההצפנה, לבצע בדיקות שוטפות לאיתור דלתות אחוריות וליישם תהליכי Build הניתנים לשחזור מלא כדי לזהות כל שינוי בלתי מורשה.

המחקר קורא גם להרחיב את הניטור השוטף של מערכות AI מעבר לרשתות ולשרתים. ארגונים נדרשים לנהל מלאי מלא של כל המודלים, מאגרי הנתונים, צינורות האימון ונקודות הקצה, לזהות מודלים בלתי מורשים ("Shadow AI")  ולשלב כלי AI Security Posture Management ו-Data Security Posture Management לקבלת תמונת מצב מלאה של סביבת הבינה המלאכותית. במקביל, מומלץ לבנות נהלי תגובה ייעודיים לתרחישים כמו הרעלת מודלים, שינוי משקלים, מתקפות Prompt Injection ודליפת נתוני אימון, ולתרגל אותם באופן קבוע באמצעות תרגילי שולחן.

החוקרים מציינים כי אתגר משמעותי נוסף הוא המחסור באנשי מקצוע בעלי מומחיות משולבת באבטחת מידע ובבינה מלאכותית. להערכתם, מספר המומחים המסוגלים לתכנן ולהגן על מערכות AI מתקדמות עדיין מצומצם מאוד, ולכן ארגונים יצטרכו להשקיע בהכשרת עובדים, בחיזוק שיתוף הפעולה בין צוותי הסייבר למדעני הנתונים ובבניית יכולות פנימיות לאורך זמן.

לסיכום, TrendAI מדגישה כי אבטחת Sovereign AI אינה יכולה להסתמך על מנגנון יחיד. רק שילוב של הגנה פיזית, בקרות רשת, אבטחת שרשרת אספקה, הגנה על נתוני האימון, שמירה על שלמות המודלים, ניטור רציף ומדידת ביצועים יספקו את רמת האמון הנדרשת למערכות AI המשמשות ממשלות, גופים ביטחוניים וארגונים קריטיים.