גוגל ממליצה על noindex או חסימת סריקה כברירת מחדל לעמודי שיתוף

אמ;לק: גוגל הוסיפה למדריך למניעת ספאם המלצות לעמודי שיתוף, לתוצרים שנוצרו בכלים ולאפליקציות רשת, לפי Search Engine Journal. לעמודים המיועדים לגישה באמצעות קישור היא ממליצה על noindex או חסימת סריקה כברירת מחדל. תיעוד גוגל מבהיר שכתובת החסומה ב-robots.txt עשויה להיכנס לאינדקס, ושחסימה כזאת מונעת מהסורק לקרוא הוראת noindex בעמוד. נוספו גם המלצות לניטור חריגות באינדוקס וביצירת עמודים.

גוגל עדכנה את המדריך למניעת ספאם עם המלצה לבחון אילו עמודים שמשתמשים יוצרים מיועדים להופיע בחיפוש. לפי Search Engine Journal, לעמודים שנועדו לשיתוף ישיר, לשיתוף פעולה או לשימוש בכלי, גוגל ממליצה להחיל כברירת מחדל הוראת noindex או לחסום סריקה באמצעות robots.txt.

אילו עמודים מיועדים לחיפוש?

לפי הדיווח, הסעיף החדש במדריך של גוגל למניעת ספאם נקרא "Only index content meant for Search". הוא מבקש ממפעילי שירותים שמאפשרים יצירת עמודים לשיתוף, תוצרים וכלים אינטראקטיביים לבחון את ייעוד התוכן: גילוי במנועי חיפוש או גישה ישירה של אנשים שקיבלו קישור. ב-2020 סיקרנו מקרה שבו קישורי הזמנה לקבוצות ווטסאפ פרטיות הופיעו בתוצאות החיפוש.

עבור עמודים המיועדים לשיתוף ישיר, ההמלצה היא להוסיף noindex באמצעות תגית robots בעמוד או כותרת תגובת HTTP מסוג X-Robots-Tag, או לחסום את הסריקה ב-robots.txt. לפי הדיווח, גם פתיחת המדריך הורחבה, והיא מתייחסת כעת במפורש לכלים המאפשרים למשתמשים לפרסם עמודים משותפים, תוכן שנוצר ואפליקציות רשת.

איך חסימת הסריקה משפיעה על noindex

הבחירה בין האפשרויות משפיעה על מה שגוגל יכולה לקרוא ולעשות עם הכתובת. הוראת noindex מורה לגוגל להשאיר את העמוד מחוץ לאינדקס. robots.txt קובע לאילו כתובות הסורק רשאי לגשת. לפי התיעוד הרשמי של גוגל ל-robots.txt, כתובת שחסומה לסריקה עדיין עשויה להיכנס לאינדקס אם אתרים אחרים מקשרים אליה. במקרה כזה, הכתובת ומידע ציבורי כגון טקסט הקישור עשויים להופיע בתוצאות, ללא תיאור מתוך תוכן העמוד.

יש גם תלות בין שתי ההוראות: לפי תיעוד noindex שמצטט Search Engine Journal, גוגל צריכה להיות מסוגלת לסרוק את העמוד כדי לקרוא את ההוראה. כשהעמוד חסום ב-robots.txt, הסורק אינו מגיע ל-noindex שמוגדר בו. לכן, כדי שהוראת noindex תפעל, יש לאפשר לגוגל גישה לעמוד.

ניטור זינוקים באינדוקס וביצירת עמודים

לפי Search Engine Journal, נוספה למדריך גם המלצה לאמת את האתר או תת-הדומיין בסרץ' קונסול, כדי לקבל הודעות על פעולות ידניות ובעיות אבטחה. גוגל ממליצה לעקוב בדוחות האינדוקס וביצועי החיפוש אחר זינוקים בלתי צפויים במספר העמודים המאונדקסים, בחשיפות או בשאילתות שאינן תואמות את ייעוד הפלטפורמה.

ברמת הפלטפורמה, ההמלצה החדשה היא לנטר את יצירת העמודים ואת האינדוקס שלהם, ולהגדיר התראות על עלייה חדה במספר העמודים הציבוריים החדשים או על מצב שבו מספר קטן של משתמשים מייצר חלק גדול מהכתובות הניתנות לאינדוקס.

להמשך קריאה: הדיווח המלא ב-Search Engine Journal ויומן עדכוני התיעוד של גוגל.