ניסוי התאמה אישית באתר: איך בודקים השפעה על המרות
כדי לבדוק אם התאמה אישית מעלה המרות, הגדירו מראש איזו פעולה רוצים לשפר והשוו בין שתי גרסאות של אותו מסלול. אנשים יכולים להקליק יותר על המלצה ועדיין לשלוח פחות פניות מתאימות. התחילו בהתאמה אחת שאפשר להסביר, למשל הצגת מלאי בסניף שהלקוח בחר. מדדו מה קרה עד לסיום הפעולה, ושמרו גם מדד שיזהה אם חלק מהמשתמשים התקשה לשנות את הבחירה או להגיע לתוכן אחר.

איזה שינוי מתאים לניסוי ראשון?
בפרויקט בניית אתרים חפשו מקום שבו הלקוח נדרש לקבל שוב החלטה שכבר קיבל. אם בחר קודם סניף, אפשר להציג מיד את הסניף הפעיל לצד אפשרות לשנות. אם יש כמה סוגי משתמשים, אפשר להציע התחלה לפי משימה שהאדם בחר, למשל בדיקת התאמה או השוואת חבילות. המעבר לניסוי נעשה אחרי שמסלול הבסיס כבר שמיש, וכל שינוי מוגדר כך שאפשר להבין מה המשתמש ראה.
נסחו השערה קצרה: ״הצגת שעת האיסוף הראשונה בסניף שנבחר תגדיל את שיעור הקונים שמשלימים הזמנה מהנייד״. הוסיפו מדד משני, כמו מספר תיקוני סניף אחרי אישור. בחרו שתי גרסאות עם הבדל אחד ברור, כדי שאפשר יהיה להבין אם השינוי נבע מן המידע החדש או מרכיב אחר שהשתנה. תנו למשתמש שחוזר לקבל חוויה עקבית במשך הניסוי לפי הדרך שהצוות הגדיר.
| החלטה | דוגמה למילוי | למה זה חשוב |
|---|---|---|
| קהל | מבקרים בנייד שבחרו סניף | ההתאמה מבוססת על בחירה קיימת |
| מדד עיקרי | איסוף שהוזמן ואושר | מודד פעולה שלמה |
| מדד משני | תיקון סניף אחרי הזמנה | מזהה קושי שההתאמה עלולה ליצור |
| מועד בדיקה | לאחר פרק זמן ונפח שהוגדרו מראש | מונע החלטה מתוך תנודה ביום בודד |
מה מודדים לאורך כל המסלול?
מדדו לפי הצעד שהמשתמש צריך לסיים. בחנות, עקבו מבחירה ועד אישור רכישה, לא רק מהקלקה ראשונה. בדף שירות, הבחינו בין פתיחת טופס, שליחה והאם הפנייה בכלל מתאימה לעסק. הגדירו מי מקבל את התוצאה ומה קורה אם משתמש התחיל במכשיר אחד והמשיך באחר. אפשר להתחיל בדיווח מצטבר כשהמידע שמזהה אדם אינו דרוש. עקרונות הפרטיות של W3C מציעים לצמצם מידע בהתאם לתכלית ולתת לאנשים יכולת להבין ולשלוט בהעדפות שלהם. עקרונות W3C לפרטיות ברשת.
לפני פתיחת הניסוי לציבור, ודאו ששתי הגרסאות שולחות את אותו אירוע מדידה באותו שלב. תנו למישהו לבצע את התהליך במלואו בשתי הגרסאות ובררו האם הסיום נרשם. בדקו מה קורה כשאין בחירה שמורה, כשהלקוח יוצא מהחשבון וכשאותו טופס נשלח פעמיים. אם בדיקת המדידה אינה עוברת, תקנו אותה לפני שמנסים ללמוד מהתוצאות. תוצאת ניסוי יכולה להיות מדויקת רק ביחס לפעולות שהמערכת באמת ספרה.
דוגמה להמחשה: יותר פניות ואותו מספר פניות מתאימות
נניח שבכל גרסה ביקרו 2,000 אנשים. בגרסת הבסיס נפתחו 80 פניות, ובגרסה המותאמת נפתחו 92. מדובר בעלייה מ־4% ל־4.6%, כלומר 0.6 נקודות אחוז. צוות השירות בדק כל פנייה ומצא 39 פניות מתאימות בכל קבוצה. הנתונים להמחשה. במקרה כזה כדאי לקרוא מדגם מהפניות הנוספות ולראות אם הקיצור הוביל אנשים לשירות שאינו מתאים או אם נותר פער בתיאור. החלטה להרחיב צריכה לשקול גם את הזמן שהצוות משקיע וגם את השירות למי שפנה.
גרסת בסיס: 80 פניות, מהן 39 מתאימות
גרסה מותאמת: 92 פניות, מהן 39 מתאימות
הפסים מייצגים את כלל הפניות. הפניות המתאימות נבדקו בנפרד.
איך נמנעים ממסקנה מוקדמת?
הגדירו מראש משך ומינימום נתונים שמתאימים לנפח התנועה. תנועה יומית משתנה לפי שעות, ימי שבוע, דיוור ומבצעים. אם השינוי מתועד רק בסוף שבוע, בדקו גם מה קורה בשבוע עבודה רגיל. כאשר יש מעט המרות, היעזרו בתצפיות על השימוש והמשיכו לאסוף נתונים. רשמו גם מה השתנה במקביל, למשל תוספת של קטגוריה או קמפיין שהביא סוג אחר של קהל. כשנמצאה תקלה, תעדו באיזו קבוצה היא קרתה ומה היה מועד התיקון.
אם הגרסאות נמצאות בכתובות נפרדות, בדקו את המלצות גוגל לגבי קנוניקל, הפניות זמניות וסיום ניסוי. חשוב שהעמוד הציבורי יישאר קריא, ושעיקר ההצעה יהיה זמין גם לאדם שלא בחר העדפות. בכל גרסה בדקו את תצוגת הדף, הצעות פעולה ושינוי בחירה. שמרו דרך לחזור לגרסה שנבדקה אם מתקבלת שגיאה או אם הניסוי הסתיים. הנחיות Google Search לניסויי אתר.
מה עושים לאחר קבלת התוצאה?
רכזו את התוצאה בעמוד אחד. כללו מי ראה כל גרסה, באיזה פרק זמן, מה הוגדר כהצלחה וכמה פניות או הזמנות הושלמו. אם אנשים יכלו לשנות את הבחירה, רשמו מה ראיתם כאשר עשו זאת בפועל. לאחר מכן בחרו להרחיב, לתקן או להמשיך למדוד. בצוות קטן עדיף שמישהו אחד יהיה בעל האחריות לניסוי ושאדם נוסף יבחן את המספרים והדוגמאות. זה מקל להסביר את ההחלטה לצוות מוצר ולמי שמטפל בפניות.
תרגיל לפני פרסום גרסת התאמה חדשה
בחרו אדם שמשתמש לראשונה באתר, אדם ששמר בחירה בעבר ואדם שרוצה להחליף בחירה. תנו לשלושתם אותה משימה: למצוא מוצר זמין, לבדוק איסוף ולהשלים הזמנת דמה. צפו בשלב שבו הם רואים את ההמלצה או ההקשר המותאם. בקשו מהם להסביר למה הם חושבים שהמידע הוצג ומה יקרה אם ילחצו על האפשרות לשנות. אם אין דרך להבין את המצב, שפרו את התווית או את מיקום הפעולה לפני שמתחילים לאסוף נתונים. כך ניתן לזהות מראש בעיית הבנה שעלולה להיראות בדוח כמו ירידה בעניין במוצר.
הכניסו לתרגיל גם מצב של מידע לא זמין. אם האתר מציג מלאי משעה מוקדמת יותר, האם ברור שהזמינות עשויה להשתנות? אם נבחר סניף שכבר סגור, האם יש דרך להציג מועד חלופי? בדקו שגרסת הבסיס עדיין נותנת תשובה שימושית. מדדו את הזמן שנדרש להשלים את המשימה ואת המקום שבו כל משתמש נתקע. התצפיות יעזרו להבין את התוצאות אחרי שהמדגם יגדל. שמרו את הגרסאות ואת השאלות שאנשים שאלו, כי הן יכולות לעזור לזהות בעיה דומה בעמוד אחר.
איך מפרידים שיפור מקומי מהשפעה על כל האתר?
תוצאה טובה בעמוד מוצר לא בהכרח מתורגמת לכל הקטלוג. יש הבדל בין קהל שחזר אחרי רכישה ובין מי שנכנס דרך מדריך וקורא על תחום שהוא עדיין לא מכיר. החליטו באיזה עמוד תמשיכו לבדוק את אותה התאמה, ושמרו מדד דומה כדי להשוות. אם משנים את התוכן באופן שונה בקבוצות, רשמו מה מוצג בכל אחת ולמי. בצעד השני אפשר לבדוק קהל או פעולה נוספים עם אותה שיטת מדידה. כשכמות התנועה קטנה, הוסיפו שיחות קצרות עם משתמשים כדי לראות אם אותו קושי חוזר גם מחוץ לעמוד הראשון.
סיימו עם החלטה המבוססת על הראיות: מי ייהנה מהשינוי, מי עדיין צריך מסלול אחר ומתי חוזרים לבדוק. תנו לעסק תאריך בדיקה חוזרת גם אחרי פרסום, כי תמהיל הקהל והפעולות משתנה.
שאלות נפוצות
האם להציג התאמה לכל המשתמשים כבר בתחילת הבדיקה?
אפשר להתחיל בקבוצה מוגדרת שהצורך שלה ברור. בדקו גם מה רואה מי שאינו שייך לקבוצה ושהמסלול הרגיל נשאר שמיש.
איזה מדד מתאים כשאין רכישה באתר?
בחרו פעולה שמחוברת למטרה, כמו התחלת תיאום, הורדה של חומר רלוונטי או פנייה שהצוות יכול לטפל בה. הגדירו בדיוק מה נספר.