גוגל, מיקרוסופט ו-OpenAI מתכננות לתמוך בסימון משותף לסירוב לאימון בינה מלאכותית

אמ;לק: בעלי אתרים יוכלו להביע העדפת אימון משותפת באמצעות הקבוצה __usage_ai-training בקובץ robots.txt. גוגל מכוונת לתמיכה ב-2027, מיקרוסופט תתחיל לכבד את ההגדרות בסריקה מ-1 בפברואר 2027, ו-OpenAI מכוונת ליישום בחודשים שלאחר ההכרזה. במיקרוסופט יוחלפו גם בקרות NoArchive ו-NoCache לאימון ולביסוס תשובות, עם הסדר מעבר לאתרים המשתמשים בהן.

גוגל, מיקרוסופט ו-OpenAI הודיעו ב-30 באוקטובר 2026 כי הן מתכננות לכבד סימון משותף בקובץ robots.txt, שיאפשר לבעלי אתרים להביע סירוב לאימון AI מול כמה ספקיות באמצעות אותה הגדרה. לפי הדיווח של מאט ג'י סאות'רן ב-Search Engine Journal מ-1 בנובמבר, התמיכה של שלוש החברות הייתה בשלב התכנון. כל חברה הציגה לוח זמנים ואופן יישום משלה.

איך מביעים סירוב לאימון AI

המנגנון משתמש במבנה הקיים של robots.txt ובפקודות Allow ו-Disallow. את טיוטת ההצעה כתב קווין קלי מאנתרופיק. היא מסווגת ב-IETF, הגוף העוסק בתקני האינטרנט, כ-Internet-Draft אישי, ומעמדה הוא הצעה בתהליך עבודה.

כדי להביע סירוב לאימון באמצעות תוכן מכל האתר, הדוגמה בטיוטה משתמשת בשתי שורות:

"`text User-Agent: __usage_ai-training Disallow: / "`

אפשר להוסיף באותה קבוצה את השורה `Allow: /press-kit/` כדי להתיר שימוש לאימון בתוכן שבנתיב הזה.

הגדרת האימון בטיוטה היא שימוש בתוכן לשינוי הפרמטרים הנלמדים של מודל AI גנרטיבי. מודלים המשמשים בלעדית למשימות כגון סיווג או דירוג מוחרגים מההגדרה. העדפות השימוש עצמאיות מכללי הסריקה, ולכן הגישה של סורקים לתוכן ממשיכה להיקבע באמצעות הכללים המיועדים להם.

הבעת העדפה משותפת דורשת קבוצה מפורשת של __usage_ai-training. קבוצה כללית מסוג `User-Agent: *` אינה חלה על הסימון הזה. קובץ ללא הקבוצה הייעודית משאיר את העדפת האימון המשותפת בלתי מוגדרת. בקרות ייעודיות לספקיות יכולות להמשיך לפעול לצדה.

גוגל תקשר את הסימון ל-Google-Extended

לפי הודעת גוגל, החברה מכוונת לתמיכה במהלך 2027. אם אתר יביע סירוב באמצעות הסימון המשותף ו-Google-Extended לא יוגדר בו במפורש, גוגל מתכננת לפרש זאת כחסימת Google-Extended. הגדרות ייעודיות קיימות ימשיכו לפעול לצד הסימון המשותף.

לפי תיעוד גוגל המתואר בדיווח של Search Engine Journal, Google-Extended שולט בשימוש בתוכן לאימון מודלי Gemini עתידיים ולביסוס תשובות ב-Gemini Apps וב-Vertex AI. ביסוס תשובות פירושו אספקת תוכן למודל בעת יצירת תשובה. לכן, במצב שתיארה גוגל, הסירוב המשותף ישפיע גם על השימוש הזה בתוכן.

גוגל מציינת כי אתרים שמתירים במפורש Google-Extended זכאים להופיע בתשובות ב-Gemini Apps באמצעות ביסוס תשובות. בקרת Google-Extended אינה משנה את הכללת האתר בחיפוש גוגל.

מיקרוסופט תפריד בין אימון לביסוס תשובות

לפי ההודעה המפורטת של מיקרוסופט על העדפות אימון וביסוס תשובות, החברה תאפשר להגדיר העדפת אימון ברמת האתר או הנתיב ב-robots.txt, וגם ברמת עמוד באמצעות תגית meta או כותרת HTTP. הגדרת אימון ברמת עמוד תגבר על ההגדרה ב-robots.txt.

העדפת ביסוס התשובות תיקבע ברמת עמוד בלבד. שתי ההעדפות עצמאיות, וברירת המחדל של שתיהן תהיה Allow. כך, למשל, אתר יוכל לסרב לאימון ולהתיר שימוש בתוכן לביסוס תשובות.

בביסוס תשובות, Disallow ימנע שימוש בתוכן. האפשרות DisallowExtended תתיר שימוש בחוויות שמיקרוסופט מפעילה, כגון קופיילוט ומיקרוסופט 365, ותחסום שימוש דרך שירותי ביסוס שהיא מספקת לצדדים שלישיים, כגון Web IQ וגישה דרך API ב-Foundry.

מיקרוסופט אומרת שהגבלת ביסוס התשובות תפחית את נראות המותג בתשובות AI. הזכאות להופיע בתוצאות החיפוש המסורתיות של בינג תישמר, בכפוף לדרישות הסריקה והאינדוקס הרגילות.

לוח המעבר של מיקרוסופט: ההגדרות ייכנסו לתוקף עם הסריקה

מיקרוסופט תתחיל לכבד את ההעדפות החדשות בעת סריקה מ-1 בפברואר 2027. אחרי 1 במרץ 2027, NoArchive ו-NoCache יפסיקו לשמש כהעדפות לאימון ולביסוס תשובות. אם החברה תזהה באתר אחת מההעדפות החדשות, היא תתעלם מתגיות NoArchive ו-NoCache שנותרו בו.

ב-15 בדצמבר 2026 ייפתח ב-Bing Webmaster Tools הסדר מעבר לביסוס תשובות, שיהיה זמין לאתרים המשתמשים ב-NoArchive או ב-NoCache באותו תאריך. לשימור הגבלת הביסוס בתקופת המעבר, מיקרוסופט דורשת לפרסם את ההעדפות החדשות בעמודים ולרשום העדפה זמנית בכלי לפני 1 במרץ 2027.

ההעדפה הזמנית תחול על כל עמוד עד סריקתו החוזרת או עד 30 בספטמבר 2027, המוקדם מביניהם. בהיעדר העדפה זמנית, העמודים יעברו לברירת המחדל Allow לביסוס תשובות עד שמיקרוסופט תגלה את ההגדרות החדשות בסריקה.

עבור אימון, ההגדרות החדשות ייכנסו לתוקף עם הסריקה החל מ-1 בפברואר 2027. הסדר המעבר הזמני ב-Bing Webmaster Tools מיועד לביסוס תשובות בלבד.

OpenAI מכוונת ליישום בחודשים שלאחר ההכרזה

לפי הודעת OpenAI, החברה תכבד את הסימון המשותף לשימוש בתוכן באימון מודלים גנרטיביים בסיסיים. היא מכוונת ליישום בחודשים שלאחר ההכרזה ותפרסם פרטי יישום בעדכון נוסף.

OpenAI תמשיך לכבד את בקרות הסריקה הקיימות שלה ב-robots.txt. החברה מתארת את המנגנון כיוזמה וולונטרית, המאפשרת לבעלי אתרים למסור אותה העדפה לכמה ספקיות משתתפות, וקראה לספקיות AI נוספות לאמץ אותו.

להמשך קריאה: הדיווח המלא ב-Search Engine Journal, טיוטת המנגנון ב-IETF, הודעת גוגל, מדריך היישום והמעבר של מיקרוסופט והודעת OpenAI.