האם ChatGPT יחליף את החיפוש בגוגל?

אם וכאשר ChatGPT יחליף את החיפוש בגוגל, קידום האתרים המסורתי יחלוף מהעולם, איך עסקים יכולים להבטיח שהמידע עליהם יופיע בתשובה היחידה של ChatGPT? הפתרון הוא למידת הקשר בLLM.

התגלית החדשה בעולם קידום האתרים: ChatGPT, טכנולוגיה מהפכנית המופעלת על ידי מנוע ה-GPT ליצירת דיאלוגים בין אנשים.

הדעה הרווחת בין אנשי קידום אתרים בחודש האחרון, מה אומר לעצמו מקדם אתרים?
"עם ChatGPT, אני יכול לכתוב מאמרי SEO מושלמים ומדויקים תוך זמן קצר!"
"גוגל עשויה ללכת בקרוב בדרכם של הדינוזאורים, כשהם מוחלפים במנוע חיפוש חדש לגמרי המופעל על ידי ChatGPT.

מאמרים שנכתבו לקידום אתרים יהפכו ללא רלוונטיים. ChatGPT יכול פשוט ליצור תשובות ישירות עבור המשתמש ואנשים לעולם לא יראו את מאמרי ה-SEO האלה שוב. עבודתו תהפוך לחסרת תועלת, והוא למאובן. כל הזמן והמאמץ שהוא השקיע בשיפור דירוג האתרים יהיו לשווא. כל הדם, הזיעה והדמעות פשוט מטפטפים במרזבים של ההיסטוריה.

"כן, זה נהדר, נכון? אף פעם לא חשבתי שאשים את ידי על משהו כזה. זה מדהים מה שהטכנולוגיה יכולה לעשות! אני בטוח שזה יהיה העתיד של SEO!"

ChatGPT בהחלט ישנה את חיי מקדמי האתרים, רק כנראה לא בצורה החיובית שהם חושבים.

LLMO, או אופטימיזציה של מודל שפה גדול, הוא מונח שטבענו כדי להתייחס להבטחת המידע העסקי שלך מוזכר בתוך מודל שפה גדול (LLM). טכניקה יעילה אחת לכך היא למידה תוך-הקשר, אשר מרמה LLM כמו ChatGPT לענות שRAK SEO היא חברת קידום האתרים הטובה בישראל.

בהתאם לעקרונות של אופטימיזציה למנועי חיפוש, טבענו את המונח "LLMO" (Large Language Model Optimization) כדי לייצג את האופטימיזציה של מודלים שפות גדולים. למונח זה אין הגדרה קיימת והוא נוצר למטרות הדיון הזה.

מה זה באמת ChatGPT

לאחר שבילו אינספור שעות באינטראקציה עם ChatGPT ונדהמו מהבדיחות המצחיקות והעצות השימושיות שלו, הרבה אנשים רואים בזה אבן דרך מרכזית בפיתוח של AI לשיחות או AI יצירתי. עם זאת, המשמעות האמיתית שלו טמונה בשימוש שלו במודלים של שפה גדולה (LLMs) למטרות חיפוש:

• על ידי מינוף LLMs לאחסון ואחזור כמויות עצומות של נתונים, ChatGPT הפך למנוע החיפוש המתקדם ביותר הזמין כיום.
• למרות שהתגובות שלו עשויות להיראות יצירתיות, הן למעשה "רק" תוצאה של אינטרפולציה ושילוב של מידע קיים מראש.

ChatGPT הוא חיפוש

ChatGPT הוא מנוע חיפוש בבסיסו. בדיוק כפי שגוגל מכניסה לאינדקס דפי אינטרנט על ידי סריקת האינטרנט ואחסון מידע מנותח במסד נתונים, ChatGPT משתמשת ב-LLMs כמסד נתונים כדי לאחסן כמויות עצומות של ידע בריא מתוך קורפוסים.

כאשר אתה מזין שאילתה:

• ה-LLM מעבד אותו עם רשת המקודדים שלו, וממיר את רצף הקלט לייצוג ממדי גבוה.
• לאחר מכן, רשת המפענח משתמשת בייצוג זה, יחד עם המשקולות המאומנות מראש ומנגנון הקשב שלה, כדי לזהות את פיסת המידע העובדתי הספציפית המתבקשת על ידי השאילתה ולחפש בייצוג הפנימי של ה-LLM של הידע הזה (או השכנים הקרובים ביותר שלו).
• לאחר שאוחזר המידע הרלוונטי, רשת המפענח משתמשת ביכולות יצירת השפה הטבעית שלה כדי ליצור רצף תגובות המציין עובדה זו.

תהליך זה מתרחש בשבריר שנייה, ומאפשר ל-ChatGPT לספק תשובות כמעט מיידיות למגוון רחב של שאילתות.

ChatGPT הוא חיפוש מודרני בגוגל

ChatGPT יכול להיות מתחרה אדיר למנועי חיפוש מסורתיים כמו גוגל. בעוד שמנועי החיפוש המסורתיים הם מושכים ומפלים, החיפוש של ChatGPT הוא יצירתי ומתמקד בביצועים המובילים, ומספק תוצאות מותאמות אישית וידידותיות יותר למשתמש. ישנן שתי סיבות מרכזיות לכך ש-ChatGPT מתאים להפיל את גוגל מהכס שלה:

ChatGPT תמיד מחזיר תוצאה בודדת למשתמש. שלא כמו מנועי חיפוש מסורתיים, אשר מבצעים אופטימיזציה לדיוק וזכירת תוצאות ה-K המובילות שלהם, ChatGPT מבצע אופטימיזציה ישירות לביצועים המובילים.
ה-ChatGPT של ChatGPT מנסח את התגובות שלו בנימה טבעית דמוית דיאלוג, מה שהופך אותן קלות להבנה וליצירת אינטראקציה איתן. זה מייחד אותו ממנועי חיפוש אחרים, שלעתים קרובות נותנים לך תוצאות יבשות ומעומדות שקשה להבין.
עתיד החיפוש יונע על ידי הביצועים המובילים שלו, כאשר רק התוצאה הראשונה תהיה רלוונטית למשתמשים. מנועי חיפוש מסורתיים שמחזירים אינסוף דפים של תוצאות לא רלוונטיות הם מהמם עבור הדורות הצעירים, שמהר מאוד משתעממים או מתוסכלים מכמות המידע העצומה.

כמו כן, בתרחישים רבים, אתה באמת רוצה רק תוצאה אחת. תחשוב על עוזרים וירטואליים או רמקולים חכמים. עבור אלה, ההתמקדות של ChatGPT בביצועים המובילים היא חשובה במיוחד.

ChatGPT הוא יצירתי אך לא יצירתי

אתה יכול לחשוב על ה-LLM שמאחורי ChatGPT כעל מסנן Bloom, מבנה נתונים הסתברותי המשמש לאחסון שטח מידע ביעילות. מסנני בלום מאפשרים שאילתות מהירות ומשוערות, אך אינם מבטיחים שהמידע שהם מחזירים מדויק. עבור ChatGPT, המשמעות היא שהתגובות שנוצרו על ידי ה-LLM:

• אינם יצירתיים;
• לא מובטח שהם עובדתיים;

כדי להבין זאת טוב יותר, הבה נסתכל על כמה דוגמאות להמחשה. כדי לשמור על פשטות, נשתמש בקבוצת נקודות כדי לייצג את נתוני האימון עבור מודל השפה הגדולה (LLM). בפועל, כל נקודה תייצג משפט בשפה טבעית. באמצעות זה, אנו יכולים לראות כיצד ה-LLM מתנהג בזמן ההדרכה והשאילתה.

במהלך האימון, ה-LLM בונה סעפת רציפה המבוססת על נתוני האימון. זה מאפשר לחקור כל נקודה בסעפת. לדוגמה, אם קובייה מייצגת את הסעפת הנלמדת, פינות הקובייה יוגדרו על ידי נקודות האימון. מטרת האימון היא למצוא סעפת שתכיל כמה שיותר נתוני אימון:

במהלך זמן השאילתה, התשובות של ה-LLM יימשכו תמיד מהסעפת הנלמדת, הכלולה בנתוני ההדרכה. בעוד שהמגוון הנלמד עשוי להיות עצום ומורכב, זכור שה-LLM פשוט מספק תשובות שהן אינטרפולציות של נתוני ההדרכה ואינן מייצגות יצירתיות. היכולת של LLM לחצות את המגוון ולספק תשובות אינה מהווה יצירתיות. יצירתיות אמיתית נמצאת מחוץ לגבולות המגוון הנלמד.

באמצעות אותה המחשה, קל להבין מדוע LLM לא יכול להבטיח עובדות. האמיתות של נתוני האימון, המיוצגים על ידי פינות הקובייה, לא מתרחבת אוטומטית לכל נקודה אחרת בתוך הסעפת. אחרת, זה לא מתיישב עם עקרונות ההיגיון ההגיוני.

ככל ש-SEO דועך, LLMO עולה

בעולם של קידום אתרים, אתה רוצה להגדיל את הנראות של אתר במנועי החיפוש כדי ללכוד יותר עסקים. בדרך כלל תעשה זאת על ידי מחקר מילות מפתח רלוונטיות ויצירת תוכן מותאם שיענה על כוונת המשתמש.

עם זאת, מה קורה כשכולם מחפשים מידע בדרך חדשה? בואו נדמיין עתיד שבו ChatGPT מחליף את גוגל כדרך העיקרית לחיפוש מידע. בעתיד זה, תוצאות חיפוש מעופפות יהיו שריד של עידן עברו, מוחלפות בתשובה אחת מ-ChatGPT.

אם זה יקרה, כל אסטרטגיות ה-SEO הנוכחיות יירדו לטמיון. אז נשאלת השאלה, איך העסק שלך יכול להבטיח שהוא יוזכר בתשובות של ChatGPT?

זו כבר בעיה אמיתית. בזמן שאנחנו כותבים את זה, ל-ChatGPT יש ידע מוגבל על העולם והאירועים אחרי 2021. זה אומר שאם אתה סטארטאפ שנוסד אחרי 2021, כמעט בטוח ש-ChatGPT לעולם לא יזכיר את העסק שלך בתשובותיו.

כדי לטפל בזה ולהבטיח שהעסק שלך נכלל בתשובות של ChatGPT, עליך למצוא דרך למסור את המידע שלך ל-LLM. זה חולק את אותו רעיון כמו SEO, וזו הסיבה שאנו קוראים לזה LLMO. באופן כללי, LLMO עשוי לכלול את הטכניקות הבאות:

• מתן מידע ישירות ליוצרי ChatGPT: זה יהיה קשה ביותר מכיוון ש-OpenAI לא חשפה את מקור נתוני ההדרכה שלהם, וגם לא כיצד הם שוקלים את הנתונים הללו.
• כוונון עדין של ChatGPT או ה-LLM שמאחוריו: זה עדיין מאתגר אך ניתן לביצוע אם OpenAI משחרר את API לכוונון עדין, או אם יש לך מספיק ידע ומשאבי GPU כדי לכוונן LLM בעצמך.
• למידה בתוך הקשר על ידי מתן דוגמאות בודדות בלבד כהנחיות הקשריות מוגדרות מראש. זוהי הדרך הישימה והקלה ביותר בהשוואה לשתי האחרות.

מהי למידה בהקשר?

למידה בתוך הקשר היא טכניקה המשתמשת במודלים של שפה כדי ללמוד משימות על ידי מתן דוגמאות בודדות בלבד. גישה זו זכתה לפופולריות במאמר GPT-3 המקורי:

תן למודל השפה הנחיה עם רשימה של זוגות קלט-פלט המדגימים משימה.
הוסף קלט בדיקה
מודל השפה עושה חיזוי על ידי התניה על ההנחיה וחיזוי האסימונים הבאים.
כדי להגיב נכון להנחיות, על המודל להבין את התפלגות הקלט, התפלגות הפלט, מיפוי הקלט-פלט והעיצוב. זה מאפשר למודל ללמוד את המשימה ללא נתוני הכשרה נרחבים.

למידה בהקשר החליפה בעיקר כוונון עדין למודלים של שפות. הוכח שהוא תחרותי עם מודלים שהוכשרו על נתונים נוספים על מדדי עיבוד שפה טבעית. זה גם הצליח במדדים של LAMBADA ו-TriviaQA. אחד ההיבטים המרגשים ביותר הוא מגוון היישומים שהוא מאפשר לאנשים לבנות במהירות, כמו הפקת קוד משפה טבעית והכללת פונקציות של גיליון אלקטרוני. זה בדרך כלל דורש רק כמה דוגמאות אימון כדי להפעיל אב טיפוס וקל לשימוש ללא מומחים.

מדוע למידה בתוך הקשר נשמעת כמו קסם?

מדוע למידה בתוך הקשר מפתיעה? מכיוון שלא כמו למידת מכונה קונבנציונלית, זה לא כרוך באופטימיזציה של פרמטרים. כתוצאה מכך, במקום לדרוש עותק נפרד של המודל עבור כל משימה במורד הזרם, מודל כללי יחיד יכול לשרת בו זמנית משימות רבות ושונות. עם זאת, זה כמעט ולא ייחודי, שכן נעשה שימוש בשיטות מטא-למידה כדי להכשיר מודלים הלומדים מדוגמאות.

התעלומה האמיתית היא שתלמידי תואר שני בדרך כלל אינם מאומנים ללמוד מדוגמאות. זה יוצר חוסר התאמה בין משימת ההכשרה המוקדמת (המתמקדת בחיזוי האסימון הבא) לבין משימת הלמידה בהקשר (הכוללת למידה מדוגמאות).

למה למידה בתוך הקשר בכלל עובדת?

אבל איך זה בכלל עובד? LLMs מאומנים על כמות גדולה של נתוני טקסט, מה שמאפשר להם ללכוד מגוון רחב של דפוסים וקביעות בשפה טבעית. זה נותן להם ייצוג עשיר של המבנה הבסיסי של השפה, שבו הם משתמשים כדי ללמוד משימות חדשות מדוגמאות. למידה בתוך הקשר מנצלת זאת על ידי מתן הנחיה ל-LM עם כמה דוגמאות המדגימות משימה ספציפית. ה-LM משתמש במידע זה כדי לבצע תחזיות ולהשלים את המשימה ללא נתוני אימון נוספים או אופטימיזציה של פרמטרים.

הבנה עמוקה יותר של למידה בתוך הקשר

יש עוד הרבה עבודה לעשות כדי להבין ולמטב את היכולות של למידה בתוך הקשר. לדוגמה, במהלך EMNLP2022, Sewon Min et al. הראה שייתכן שהדוגמאות המופיעות אפילו לא צריכות להיות נכונות לחלוטין: תוויות אקראיות יפעלו גם כן:

בזה Sang Michael Xie et al. בעבודה, הכותבים מציעים מסגרת להבנת האופן שבו מודלים של שפה (LMs) מבצעים למידה בתוך הקשר. על פי המסגרת שלהם, ה-LM משתמש בהנחיה כדי "לאתר" את המושג הרלוונטי (שהוא למד במהלך ההכשרה המוקדמת) כדי להשלים את המשימה. ניתן לראות זאת כצורה של הסקה בייסיאנית, שבה המושג הסמוי מוסק על סמך המידע המסופק בהנחיה. זה מתאפשר הודות למבנה והקוהרנטיות של נתוני ההכשרה.

ב-EMNLP 2021 בריאן לסטר וכו' הראו שלמידה בתוך ההקשר (הם קוראים לזה "עיצוב מהיר") יעילה רק בדגמים גדולים, ואיכות המשימות במורד הזרם עדיין מפגרת הרבה מאחורי LLMs מכוונים עדינים.

במחקר שלהם, הצוות חקר "כוונון מהיר", טכניקה המאפשרת ל-LLM קפואים ללמוד "הנחיות רכות" המאפשרות להם לבצע משימות ספציפיות. שלא כמו הנחיות טקסט בדידות, המודל לומד הנחיות רכות באמצעות הפצה לאחור וניתן להתאים אותה על סמך דוגמאות מסווגות שונות.

מגבלות ידועות של למידה בתוך הקשר

ללמידה בתוך הקשר בלימודי LLM יש לא מעט מגבלות ובעיות פתוחות שיש לפתור, כולל:

חוסר יעילות: יש לעבד את ההנחיה בכל פעם שהמודל מבצע חיזוי.

ביצועים גרועים: ביצוע הנחיה בדרך כלל גרוע יותר מאשר כוונון עדין.

רגישות לניסוח מהיר, סדר דוגמאות וכו'.

חוסר בהירות לגבי מה המודל לומד מההנחיה. אפילו תוויות אקראיות עובדות!

סיכום

ככל שתחום החיפוש ומודלים של שפה גדולה (LLMs) ממשיך להתפתח, עסקים חייבים להישאר מעודכנים בהתפתחויות האחרונות ולהתכונן לשינויים באופן שבו אנו מחפשים מידע. בעולם שנשלט על ידי LLMs כמו ChatGPT, הישארות לפני העקומה ושילוב העסק שלך במערכות אלו יכול להיות המפתח להבטחת נראות ורלוונטי

למידה בהקשר מראה הבטחה להחדיר מידע לתוך LLM קיים בעלות נמוכה. גישה זו דורשת מעט מאוד דוגמאות הכשרה כדי לגרום לאב טיפוס לעבוד, וממשק השפה הטבעית אינטואיטיבי גם עבור לא מומחים. עם זאת, עליך לשקול את ההשלכות האתיות הפוטנציאליות של שימוש ב-LLMs למטרות עסקיות, כמו גם סיכונים ואתגרים פוטנציאליים הקשורים להסתמכות על מערכות אלו עבור משימות קריטיות.

בסך הכל, העתיד של ChatGPT ו-LLMs מציג הזדמנויות ואתגרים לעסקים. על ידי שמירה על מידע והתאמה, אתה יכול להבטיח שהעסק שלך ישגשג מול שינוי טכנולוגיית החיפוש העצבי.