מחקר: Reddit AI Search בוחר תגובות פופולריות יותר

אמ;לק: מחקר על Reddit AI Search מצא כי תגובות פורמליות ותגובות שכבר זכו לדירוג גבוה בשרשור נבחרו בתדירות גבוהה יותר כמקורות לתשובות AI. תגובות עם מאפיינים של חוויה אישית הופיעו פחות, והשפה בתשובות עצמן הייתה אישית פחות מזו שבתגובות המצוטטות.

מחקר קדם-פרסום של חוקרים מאוניברסיטת אילינוי באורבנה־שמפיין בחן אילו תגובות מגיעות לתשובות ה-AI בחיפוש של Reddit, ומצא קשר בין בחירה במקור לבין פורמליות, דירוג הצבעות גבוה ונראות קודמת בשרשור. קרדיט לדיווח המוקדם של Search Engine Journal ושל כתב החדשות Matt G. Southern, שהציג את ממצאי הביקורת. המחקר המקורי, המכנה את המערכת Reddit Answers, זמין ב-arXiv. מדובר בקדם-פרסום שעדיין לא עבר ביקורת עמיתים.

מטרת המחקר: להבין אילו תגובות מגיעות לתשובת ה-AI

החוקרים ביקשו לבדוק אילו מאפיינים קשורים לבחירת תגובות Reddit כמקורות או כציטוטים בתשובות AI. לשם כך הם השוו בין תגובות שהמערכת בחרה לבין תגובות אחרות באותם דיונים שלא נכללו בתשובה.

מוקד הבדיקה היה בקהילות Reddit שעוסקות בעצות ובתמיכה — מרחב שבו חוויות אישיות, עצות כלליות ודירוגי קהילה מתקיימים זו לצד זו.

כך נערכה הבדיקה

החוקרים השתמשו במודל שפה כדי לנסח מחדש פוסטים אמיתיים מ-20 קהילות עצות ותמיכה לשאילתות חיפוש קצרות. בסך הכול נוצרו 10,000 שאלות, שכל אחת מהן הועברה במערכת שלוש פעמים, במרווחים של כחמש שעות בין ההרצות.

הניתוח כלל 30,000 תשובות וקישור שלהן ל-14.68 מיליון תגובות. ההשוואה נעשתה בתוך השרשורים עצמם: תגובות שהופיעו כמקור או כציטוט בתשובת ה-AI נבחנו מול תגובות אחרות מאותו דיון.

הממצאים: פורמליות ודירוג גבוה נקשרו לבחירה

פורמליות הייתה מנבא השפה החזק ביותר לבחירת תגובה: עלייה של סטיית תקן במדד הפורמליות נקשרה לסיכויי בחירה גבוהים ב-49%, עם יחס סיכויים של 1.488 לפני בקרה על דירוג, מיקום וגיל התגובה.

דירוג ההצבעות של תגובה בתוך השרשור היה הקשר החזק ביותר במודל. עלייה של סטיית תקן בדירוג נקשרה להכפלת סיכויי הבחירה פי 2.88. התגובה החציונית שנבחרה הייתה באחוזון 91 של הציון בשרשור, לעומת אחוזון 45 בקרב תגובות שלא נבחרו.

לאחר שהחוקרים הביאו בחשבון את ציון התגובה, מיקומה וגילה, הקשר לפורמליות הצטמצם ליחס סיכויים של 1.213.

קולות אישיים הופיעו פחות בתשובות

תגובות עם סממנים של קול חווייתי ואישי — ובהם שימוש בכינויי גוף בגוף ראשון ובזמן עבר — נקשרו לסיכויי בחירה נמוכים יותר, עם יחס סיכויים של 0.789 לפני הבקרות המתוארות. לאחר הבקרה, יחס הסיכויים של מדד הקול החווייתי עמד על 0.860.

בניתוח של 1,000 שאילתות נבדקה גם השפה שעברה מן התגובות המצוטטות אל התשובה המנוסחת. שיעור השימוש במילים בגוף ראשון, כגון “I” ו-“my”, ירד מ-3.3% בתגובות המצוטטות ל-0.06% בתשובות שנוצרו. לפי פרשנות החוקרים, המעבר מניסוח אישי לעצה כללית עשוי לשנות את האופן שבו עדויות אישיות מיוצגות בתשובה.

השלכות אפשריות על חיפוש קהילתי

המחקר הוא תצפיתי, ולכן הוא מתאר קשרים בין מאפייני תגובות לבין בחירתן ואינו מציג הוכחה סיבתית לכך שכתיבה פורמלית מובילה לבחירה. המדגם התמקד ב-20 קהילות עצות ותמיכה, והחוקרים מציינים שהדפוסים עשויים שלא לחול על סוגי קהילות אחרים או על מערכות AI Search אחרות.

הממצאים מצביעים על אפשרות שתשובות AI בחיפוש פנימי ישקפו במידה רבה יותר תגובות שכבר בלטו בדיון, לצד ניסוחים כלליים ופורמליים יותר. בתוך קהילות שבהן ערך הדיון נשען גם על סיפורים אישיים, בחירה כזו עשויה להשפיע על מגוון הקולות שמגיעים לתשובה המסכמת.

המשמעות לאנשי שיווק ולקהילות מותג

עבור אנשי שיווק, מנהלי קהילות ומותגים שעוקבים אחר שיח ב-Reddit, המחקר מספק הקשר לאופן שבו שיחות קהילתיות עשויות להיות מיוצגות בחיפוש AI. תשובה שמבוססת על מקורות בעלי דירוג ונראות קיימים עשויה להבליט סוגים מסוימים של תגובות על פני עדויות אישיות וחווייתיות יותר.

במובן זה, הנראות בתוך תשובת AI אינה משקפת רק את עצם קיומו של דיון סביב מותג או מוצר, אלא גם את הדרך שבה תגובות שונות זוכות לבולטות בתוך השרשור ואת האופן שבו המערכת מנסחת את המקורות שנבחרו.

לסיכום

הביקורת מתארת חיפוש AI ב-Reddit כמנגנון שמקשר בין אותות קהילתיים, כמו דירוג הצבעות, לבין אופן הניסוח של התגובה. עבור מי שעוקבים אחר שיח מותגי בפלטפורמה, זו עדות לכך שהתשובה המסכמת עשויה להציג תמונה מצומצמת ופורמלית יותר מהדיון המקורי.