תהליך אישור כלי בינה מלאכותית: אפליקציות, חיבורים ופעולות סוכן
הגדר תהליך אישור כלי AI מהיר עבור כלים בסיכון נמוך והקפד על מערכות החברה שסוכן יכול להגיע אליהן ועל הפעולות שהוא יכול לבצע.
ההחלטה בקצרה
תהליך אישור כלי AI מחליט באילו כלי AI אנשים יכולים להשתמש, עם אילו נתונים ובאילו תנאים. עבור כלים שמתחברים למערכות החברה, הוא גם מחליט לאילו מערכות הם עשויים להגיע ואילו פעולות זקוקות לבדיקה של אדם. הפוך את הבקשה לקלה, התאם את הביקורת לסיכון, אשר היקף ספציפי עם בעלים ותאריך סקירה, אכיף את ההחלטה באמצעות תצורה ולא גיליון אלקטרוני, ובדוק מחדש כאשר הכלי משתנה.
מה מחליט תהליך אישור כלי בינה מלאכותית
תהליך אישור כלי AI הוא האופן שבו ארגון מחליט באילו כלי AI אנשים יכולים להשתמש לעבודה, עם אילו נתונים ובאילו תנאים. רוב התהליכים מתחילים באפליקציה עצמה: עוזר צ'אט, רושם פגישה או עוזר קידוד.
הסוכנים מוסיפים עוד שתי החלטות. כלי בינה מלאכותית רבים מתחברים כעת למערכות החברה, באמצעות מחברים מובנים או פרוטוקול ה-Model Context (MCP), וחלקם יכולים לפעול במערכות אלו: לשלוח הודעה, לעדכן רשומה או למזג שינוי. אישור האפליקציה אינו קובע לאילו מערכות היא עשויה להגיע או לאילו פעולות יש צורך בבדיקה של אדם.
לכן תהליך שימושי מאשר שלושה דברים, כל אחד ברמת הפירוט הנכונה.
| החלטה | שאלה | מי בדרך כלל סוקר |
|---|---|---|
| הכלי | האם אנשים יכולים להשתמש במוצר הזה עם נתוני החברה? | IT, אבטחה, פרטיות ורכש |
| הקשרים שלו | לאילו מערכות ונתונים של החברה היא עשויה להגיע, ועם האישורים של מי? | בעלי מערכות ואבטחה |
| הפעולות שלה | אילו שינויים זה יכול לעשות, ואילו צריך קודם כל ביקורת של אדם? | בעל העסק ואבטחה |
הפוך את הבקשה לקלה
אנשים משתמשים בכלים שקל להשיג. אם הנתיב המאושר איטי או לא ברור, הם מוצאים את שלהם, וכך מתחיל בינה מלאכותית בצל. טופס בקשה קצר, רשימה שפורסמה של כלים מאושרים ותפנית צפויה ברורה עושים יותר ממדיניות קפדנית שאיש לא קורא.
בקש את המידע שהבודקים צריכים מראש, כדי שהבקשות לא יקפוץ קדימה ואחורה:
- המטרה העסקית והצוות שישתמש בכלי.
- הנתונים המעורבים, תוך שימוש ברמות הסיווג הקיימות שלך.
- כל מערכות חברה שהיא צריכה להתחבר אליהן, והאם היא צריכה לשנות בהן משהו.
- מי יהיה הבעלים של הכלי לאחר אישורו.
- הספק, התוכנית והקישורים לתנאי האבטחה והשימוש בנתונים שלו.
התאימו את הסקירה לסיכון
לא כל בקשה זקוקה לאותה בדיקה. שכבות מאפשרות לכלים בסיכון נמוך לעבור במהירות ולשמור סקירה מעמיקה יותר עבור כלים שנוגעים בנתונים רגישים או נוקטים בפעולות.
דרג את מקרה השימוש ולא את המוצר. אותו עוזר נמצא בסיכון נמוך ככלי עזר לכתיבה ובסיכון גבוה ברגע שהוא יכול לשלוח דואר אלקטרוני בשמו של מישהו. התאם את השכבות שלהלן לסיווג הנתונים ולחובותיך.
| שכבה | דוגמה | סקירה |
|---|---|---|
| נמוך | עזרה בניסוח עם תוכן לא רגיש וללא קשרים | IT בודק את תנאי הספק וכניסה, ולאחר מכן מאשר מתוך רשימה סטנדרטית |
| בינוני | קורא מסמכים פנימיים או כרטיסים דרך מחבר | אבטחה ובעל הנתונים בודקים גישה, היקפים וטיפול בנתונים |
| גבוה | קורא נתונים של לקוחות או פיננסיים, או יכול לשנות רשומות וליצור קשר עם אנשים | סקירת אבטחה ופרטיות מלאה, בעל שם, מגבלות על פעולות ופיילוט |
סקור מה חשוב עבור כלי AI
סקירת ספקים של Standard עדיין חלה: נוהלי אבטחה, כניסה דרך ספק הזהות שלך, יומני ביקורת ותנאי חוזה. כלי AI מוסיפים שאלות על נתונים. בדוק אם הספק משתמש בנתונים שלך כדי להכשיר מודלים, כמה זמן נשמרים הנחיות ותפוקות, והאם תנאים אלה שונים בין תוכניות חינמיות לעסקיות.
עבור כלים שמתחברים למערכות החברה, סקור כל חיבור כהחלטה משלו: איזו מערכת, האישורים שלה, אילו היקפים ואיזה נתונים. חיבור מורשה בהיקף רחב יכול להגיע לכל מה שההיקף מאפשר, מה שהכלי אושר לו.
עבור כלים שמבצעים פעולות, החליטו אילו פעולות הם עשויים לנקוט בעצמם. OWASP מתאר מתן למערכת בינה מלאכותית יותר פונקציות, הרשאות או אוטונומיה ממה שהיא צריכה כסוכנות מופרזת, ורשימות הדורשות אישור של אדם לפעולות בעלות השפעה גבוהה בין ההפחתות.
אם אתה רוצה מבנה רחב יותר לעבודה זו, מסגרת ניהול הסיכונים של AI של NIST, המתוקנת כעת, מארגנת אותה סביב שליטה, מיפוי, מדידה וניהול סיכונים.
אשר היקף ספציפי, עם תאריך סיום
אישור הוא שימושי ביותר כאשר הוא אומר בדיוק מה אושר: הכלי הזה, עבור הצוות הזה ומקרה שימוש, עם סוג זה של נתונים, מחובר למערכות אלו, עם פעולות אלו מותרות. כל דבר מחוץ לטווח זה הוא בקשה חדשה.
צרף תנאים שבהם הם מפחיתים סיכון, כגון תוכניות עסקיות בלבד, נדרשת כניסה יחידה, ללא נתוני לקוחות או סקירה של פעולות מסוימות במהלך פיילוט. תן לכל אישור בעלים ותאריך בדיקה, כך שכלים שכבר אין צורך בהם, או שהשתנו, יחזרו לקבלת החלטה.
הפוך את ההחלטה לתצורה
החלטה שקיימת רק בגיליון אלקטרוני לא עוצרת אף אחד. אכוף את מה שאתה יכול: הפעל את הכלי באמצעות כניסה יחידה עבור הקבוצה המאושרת, הגדר רק את החיבורים וההיקפים המאושרים ופרסם את הרשימה המאושרת במקום שבו אנשים מחפשים אותה.
עבור סוכנים שמתחברים למערכות החברה דרך MCP, שער יכול להפוך את ההחלטה לכללים החלים על כל בקשה: מי רשאי להשתמש בחיבור, אילו כלים ונתונים זמינים ואילו שינויים טעונים בדיקה. בקשות שעוקפות את השער עדיין זקוקות לפקדים אחרים, כגון ניהול נקודות קצה וטיפול זהיר באישורים.
טפל בכלים שכבר נמצאים בשימוש
התהליך מתחיל לעתים קרובות לאחר שהכלים כבר נמצאים בשימוש. תקופת חנינה, שבה אנשים יכולים לרשום כלים ללא קנס, נותנת לך מלאי כנה. Discovery עוזר גם: יומני כניסה, דוחות הוצאות, מלאי תוספי דפדפן, ולסוכנים, תצורות MCP במכשירים מנוהלים.
לאחר מכן מיין את מה שאתה מוצא: אשר את זה בתנאים, מציע חלופה מאושרת או בקש מאנשים להפסיק. הסבר מדוע כלי נדחה, ובמה להשתמש במקום זאת, שומר על אמין התהליך.
אישור כלי אינו אישור כל פעולה
אישור כלי לשימוש ובדיקת מה שהוא עושה הם בקרים שונים. הראשון קורה פעם אחת, לפני ההשקה. השני מתרחש כאשר סוכן מציע פעולה ספציפית, כגון הנפקת החזר כספי או שליחת אימייל לרשימת לקוחות.
מפרט MCP ממליץ שאדם תמיד יכול לדחות קריאת כלי ושלקוחות יבקשו אישור לפני הפעולות. עבור פעולות תוצאתיות, אתה יכול ללכת רחוק יותר ולבקש מאדם שני לבדוק את הבקשה המדויקת לפני שהיא פועלת. בחר אילו פעולות זקוקות לבדיקה זו בהתבסס על כמה נזק עלול לגרום טעות.
בדוק את האישורים לאורך זמן
כלי AI משתנים במהירות. ספקים מוסיפים תכונות, משנים תנאי נתונים ומציגים מחברים חדשים, כך שאישור מלפני שישה חודשים עשוי לתאר מוצר אחר. בדוק אישורים על לוח זמנים ומתי משהו מהותי משתנה: שימוש חדש בנתונים, קשרים חדשים, פעולות חדשות או שינוי תוכנית.
שמור את הרישומים: מי ביקש את הכלי, מי אישר אותו, באילו תנאים ומתי הוא נבדק לאחרונה. הם הופכים את הביקורות לקלות יותר ומראות אילו החלטות כדאי לבדוק קודם.
איפה Durin מתאים
Durin מטפל בהחלטות החיבור והפעולה עבור סוכנים המשתמשים ב-MCP. חברים מבקשים חיבור ב-Connections, בוחרים ספק קטלוג או מציעים שרת מותאם אישית למטרה שלו, ומנהל מערכת מאשר או דוחה את הבקשה באישורים. האישור אינו מפעיל דבר מעצמו: הגדרת הספק, סקירת הכלים ומבחן לקריאה בלבד עדיין עוקבים אחריו.
ברגע שחיבור פעיל, Durin בודק כל בקשה מול הגישה הנוכחית וכללי הצוות. בקשות שנבדקו יכולות להמשיך כברירת מחדל לאחר בדיקות אלו. מנהלי מערכת יכולים לדרוש ממנהל אחר שיבדוק שינויים מוצעים; לאחר מכן המבקש שולח שוב את אותה בקשה לפני שההרשאה תפוג. Shadow MCP גילוי מדווח על שרתי MCP שהוגדרו במכשירים רשומים, כולל כאלה שדילגו על התהליך.
Durin אינה מעריכה ספקי AI, אפליקציות או תנאי הנתונים שלהם, והיא שולטת רק בבקשות המנותבות דרך השער שלה. תהליך האישור הרחב שלך עדיין הבעלים של ההחלטות הללו.