דלגו לתוכן

בדיקות A/B באתר: איך מתכננים ניסוי ומפרשים תוצאות

בדיקת A/B משווה שתי גרסאות של אותו מסלול באמצעות הקצאה אקראית של משתמשים. אפשר לבדוק אם הסבר חדש ליד טופס מביא יותר פניות שהתקבלו, או אם שינוי סדר המידע מקל להשלים בקשת הצעה. לפני שמריצים את הבדיקה, צריך להגדיר איזו תוצאה תוביל להחלטה, איך הנתונים ייאספו ומתי תסתיים ההשוואה. בלי תכנון כזה קל להסתכל על ימים בודדים ולהחליף גרסה בגלל תנודה שחולפת בשבוע הבא.

אנליסט משווה בין שתי גרסאות של דף נחיתה בשני מסכים

כותבים השערה ומדד ראשי שאפשר לאמת

פתחו מהתנהגות שנצפתה. לדוגמה, אנשים מתחילים למלא טופס לעסק שירות ושואלים שוב ושוב מה יקרה לפרטים אחרי שליחה. השערה שימושית היא שהוספת משפט לפני השדות על אופן קבלת המענה תעלה את שיעור הפניות שהתקבלו באתר. תארו איזו אוכלוסייה תראה את השינוי ומהי נקודת ההתחלה והמכנה. בדוגמה אפשר לספור משתמשים שהוקצו לגרסה והגיעו לעמוד, ומתוכם מי שפנייתו התקבלה בהצלחה.

בדקו איך נראה האישור מבחינה טכנית. לחיצה על כפתור היא התחלת פעולה, הודעת שרת מאמתת שהטופס התקבל, ושיחה עם איש צוות נותנת תשובה אחרת. הגדירו מדד ראשי אחד שמתאים להשערה. אפשר לאסוף מדדי הגנה כמו שיעור פניות לא מתאימות, כשלים בטופס או איטיות אחרי תחילת פעולה. שיפור בשליחות שלא מתקבל במערכת או שמייצר יותר עבודה לא רלוונטית עשוי לדרוש ניסוח אחר.

פרטי תכנון שקובעים לפני שמחלקים תנועה
פרט דוגמה לניסוי בטופס למה מציינים אותו מראש
אוכלוסייה מבקרים בדף שירות מוגדר יודעים על מי חל הממצא
מדד ראשי פנייה שנקלטה לאדם שהוקצה מפרידים בין לחיצה לתוצאה
מדדי הגנה כשלים ופניות לא מתאימות מזהים מחיר תפעולי
הקצאה חצי לגרסה קיימת וחצי לגרסה חדשה שומרים השוואה באותה תקופה
נקודת החלטה משך ותנאי סיום שנקבעו מראש מונעים סיום לפי תוצאה רגעית

מתכננים הקצאה עקבית ועושים בדיקת תקינות

הקצו באקראי לפי יחידה שמתאימה לשימוש באתר. אם אדם שב לטופס בהמשך השבוע, בדרך כלל תרצו שיראה שוב את אותה גרסה. קבעו כיצד מזהים יחידת מדידה לפי הדרישות הטכניות והפרטיות של האתר. אל תשלחו פרטי קשר לכלי הניסוי רק כדי לשמור בחירה. בדקו מה קורה כשדפדפן חוסם אחסון, כשהאדם מגיע דרך קמפיין נוסף וכשהעמוד נשמר במטמון. כשהקצאה נעשית בשרת, בדקו גם שהמטמון לא שולח את אותה גרסה לכולם.

לפני השקה, שלחו אירועי בדיקה בכל גרסה ועברו את המסלול עד קליטת פנייה. ודאו שהגרסה תועדה לפני שאירוע התוצאה נרשם. כשמספר המשתמשים בגרסאות שונה משמעותית מהחלוקה שתוכננה, בדקו טעינה, סינון, חשיפה ואיבוד מדידות. המחקר של Microsoft על חוסר התאמה בחלוקת מדגם מפרט דרכים לזהות תקלה כזאת. אפשר לראות פער מקרי קטן בחלוקה אקראית, ולכן בודקים את גודל הפער ואת הדרך שבה הוא נוצר לפני שמפרשים המרות.

  1. תכנון
    השערה, מדד ראשי וסף החלטה
  2. תקינות
    הקצאה עקבית ואימות אירועי תוצאה
  3. הרצה
    איסוף נתונים לפי כללי העצירה
  4. החלטה
    אומדן שינוי, אי ודאות והשפעה על השירות
סדר עבודה לבדיקת A/B באתר

מעריכים מראש כמה תנועה צריך

התחילו משיעור השלמה שקיים היום ומהשיפור המינימלי שמשנה החלטה עסקית. לדוגמה, מעבר מ־4% ל־5% הוא עלייה של נקודת אחוז אחת, או 25% יחסית לשיעור המקורי. בחישוב בקירוב להשוואת שני שיעורים עצמאיים, בהקצאה שווה, רמת מובהקות דו צדדית של 5% ועוצמה של 80%, דרושים בערך 6,750 משתמשים בכל גרסה כדי לזהות שינוי כזה. אלה הנחות להמחשה. היקף בפועל תלוי בשיטה, בנתונים, ביחידת ההקצאה ובשיעור שאפשר למדוד בעקביות.

אם 450 משתמשים כשירים מגיעים ביום, המדגם להמחשה יתמלא בכחודש, לפני השפעות כמו חגים, תקלות או ירידה בתנועה. בעסק שמקבל 30 משתמשים ביום באותו עמוד, חישוב כזה מוביל לתקופה ארוכה בהרבה. אפשר לבדוק תחילה משימה בתצפיות ולתקן חסם שהוכח בשימוש, או לבחון שינוי בעל השפעה צפויה גדולה יותר. אם עוקבים אחר המדד מדי יום, קבעו שיטת ניטור וכלל עצירה שמתאימים לבדיקה חוזרת. בהשוואה שמתוכננת לנקודת זמן אחת, תנודה מוקדמת לא קובעת את התוצאה.

דוגמה לשינוי באתר שירות

צוות בתחום בניית אתרים משיק דף בקשה למתקין מזגנים. בגרסה A מופיעים שדות ופרטי קשר. בגרסה B מוצג מעליהם משפט שמגדיר את חלון החזרה ואזורי השירות. לפני תחילת ההרצה שני אנשים מוודאים שאפשר לשלוח פנייה בכל גרסה ולטפל בה ביומן העבודה. במהלך הניסוי הצוות מסמן פניות אמיתיות שלא התאימו לאזור, כדי לבדוק אם השינוי משפיע גם על מה שקורה אחרי השליחה. הוא רושם במקביל תקלה שהשפיעה על שתי הגרסאות ומחליט כיצד להתייחס לימים שבהם הנתונים חלקיים.

בסיום הוא מציג שיעור השלמה, הפרש מוחלט וטווח אי ודאות, לצד התפלגות הפניות לפי התאמה. אם ההפרש קטן והטווח כולל גם שיפור משמעותי וגם ירידה, הדוח אומר שהראיות מהמדגם אינן מספיקות להכרעה. אם השינוי עוזר לתוצאה הראשית אך מגדיל מאוד עומס מסוג מסוים, אפשר לחזור להשערה ולנסח שינוי מצומצם. שמרו את קובץ התכנון ואת התוצאה כך שבעתיד אפשר יהיה לדעת איזו גרסה בדיוק נבדקה.

מכינים תרחישים לבעיות מדידה ולהשפעות שמגיעות מאוחר

לפני הפתיחה קבעו איך תטפלו באירוע שמגיע פעמיים. משתמש יכול לחזור מדף אישור או לנסות לשלוח שוב כשהחיבור נקטע. בדקו אם המערכת יכולה לזהות את אותה שליחה בלי לאסוף עבורה פרטים מיותרים. החליטו גם כמה זמן אחרי ההקצאה נחשבת פנייה כחלק מהניסוי. כאשר לקוחות מחליטים לאורך כמה ימים, משתמש שנכנס ממש לפני העצירה עלול לקבל חלון קצר יותר. מדידה עקבית צריכה לתת הזדמנות דומה לכל יחידה או להתייחס במפורש לפער.

אם המכירה מתרחשת בשיחת צוות אחרי הפנייה, הגדירו מראש איך תחברו תוצאות בצורה מסודרת ומי רשאי לראות אותן. אפשר למדוד השלמת טופס בשלב ראשון ולהמתין עד שהצוות הגיע לכל הפניות כדי לבחון התאמה. ביחס למדד משני, רשמו מתי הוא נמדד וכמה פניות טרם נסגרו. השוואת הזמנות ביום העצירה עלולה לתת יתרון לגרסה שאנשיה במקרה הגיעו בשבוע הראשון, במיוחד בשירות שבו זמן החזרה משתנה לפי עומס.

מפרסמים החלטה שאפשר להסביר גם למי שלא ראה את הנתונים

בסיכום קצר הזכירו את מה שנבדק ואת השינוי המינימלי שרציתם להבחין בו. השוו שיעורים עם המכנים, וציינו אם אירע שינוי גדול בתנועה או שהייתה בעיית תקינות. כאשר בוחרים להפיץ את הגרסה, בדקו את התצוגה אחרי ביטול ההקצאה והסרת המדידה המיוחדת. עקבו עוד תקופה אחר פניות וכשלים כדי לזהות שינוי בהרכב הביקורים או תקלה שלא נראתה בניסוי. אם ההכרעה נדחית, תעדו איזה מידע היה חסר כדי שהצוות יוכל לבחור בהמשך בין בדיקה חוזרת לבין תיקון נקודתי.

שאלות נפוצות על בדיקות A/B

אפשר לבדוק כותרת, צבע ומיקום בבת אחת?

אפשר להשוות שתי חבילות עיצוב כשצריך להחליט ביניהן כפי שהן. אם המטרה היא לזהות איזה רכיב אחראי להשפעה, השוואה כזאת תתקשה לענות. בחרו מראש האם ההחלטה היא על עמוד שלם או על רכיב בודד.

איך מתייחסים לממצאים רק במובייל?

אם מובייל הוא קהל חשוב, הגדרתם מראש מקלה לפרש את התוצאה. בדקו שמשתמשי מובייל הוקצו כראוי, שהתצוגה נטענה ושיש כמות מספקת. תוצאה חריגה בתת קבוצה שהוגדרה לאחר הסתכלות בנתונים מתאימה לעיתים כהשערה לניסוי הבא. רשמו אותה עם התנאים שבהם התגלתה.

רוצים מידע נוסף בנושא בניית אתרים?השאירו פרטים ונעזור לכם למצוא ספק מתאים.פתיחת טופססגירת טופס