דיוור A/B Testing – מהות ודרכים ליישום
בפוסט זה נעסוק בתהליך המחשבה מאחורי יצירת דיוור A/B Testing. לפני שנעמיק בנושא ברצוני לציין שהפוסט עוסק במושגים מתקדמים יותר מתחום ה-A/B Testing, לכן במידה וזו הפעם הראשונה שאתם נתקלים במושג זה, אנחנו ממליצים לקרוא באתר את הפוסט הקודם בנושא.
כיצד נערך לדיוור A/B Testing?
עוד לפני שאנחנו ניגשים ליצור דיוור A/B Testing חשוב שנגיע עם איזושהי השערה שברצוננו לבדוק. השערה זו יכולה להגיע כתוצאה מהיכרות עם קהל היעד, ממחקר מוקדם שנעשה על ידכם, היגיון או אפילו תחושה. בעזרת דיוור A/B Testing ננסה לבדוק האם ההשערה שלנו נכונה.
לדוגמה, במקרה של inwise: אנחנו מאמינים שהלקוחות שלנו מתעניינים בדיוורים בעלי תוכן פרקטי וזו ההשערה שאנחנו מעוניינים לבדוק.
לאחר שבחרנו את נושא האימייל שמותאם להנחה שברצוננו לבדוק, ניתן להתחיל לבנות דיוור A/B Testing.
אופציות הבדיקה:
המערכת מאפשרת כיום מספר אופציות לבדיקה:
- שורת נושא: יצירת שני קמפיינים זהים כאשר בכל קמפיין שורת נושא שונה.
- שם שולח: יצירת שני קמפיינים זהים כאשר בכל קמפיין שם השולח שונה.
- זמן שליחה: יצירת שני קמפיינים זהים כאשר כל קמפיין נשלח בשעה שונה.
חלוקה
לאחר בחירת המשתנה נבחר את אחוז הפיצול. אנו ממליצים לא לשנות את האחוז ולהשאירו על 20% – הכוונה היא שמתוך סך אנשי הקשר שאליהם נשלח הקמפיין, 20% יהוו את קבוצת הבדיקה, 10% יקבלו נוסח אחד של הקמפיין ו-10% יקבלו את הנוסח השני.
קביעת מנצח
באופציה זו אתם מגדירים בעצם איזה נתון הוא החשוב לכם ביותר ועל פיו יישלח הקמפיין לשאר אנשי הקשר שלכם, כלומר 80% הנוספים.
קמפיין AB
הסקת מסקנות
- רבים מוטרדים מכך שחלוקה ל-20% בהכרח מגדירה כי 10% יקבלו קמפיין פחות טוב. חשוב להבין שהשינוי בבדיקה אחת לא אמור להיות משמעותי ולכן הוא לא אמור לפגוע בקמפיין, אולם מכל בדיקה כזו אתם יכולים ללמוד משהו חדש על הלקוחות שלכם, כך שבטווח הארוך אתם אלו שמרוויחים.
- על מנת להבין את התוצאות ולקבל מסקנה רלוונטית, חשוב תמיד לשנות רק מאפיין בודד (כותרת / שם שולח / מועד שליחה). אם תשנו יותר ממאפיין אחד לא תוכלו לדעת איזה משתנה הביא לשינוי, ולכן הבדיקה שעשיתם לא יכולה להוביל למסקנות אופרטיביות.
- חשוב לבצע יותר מבדיקה אחת על מאפיין נבחר. על מנת לקבל תוצאות מובהקות, יש צורך לבצע מספר דיוורי A/B Testing על אותו משתנה, אם זה אותו מאפיין בשורת נושא, או שעת שליחה שאתם חושבים שהיא טובה. בדיקה חד פעמית אינה מספיקה על מנת להסיק מסקנות, ולכן לא בהכרח שהתוצאות יתקיימו גם בעתיד. אנו ממליצים לבדוק את אותה ההנחה במספר ווריאציות (אם זה שורת נושא אז צריך להחליף בכל בדיקה את השורה הנבדקת), אולם יש להקפיד כי הגורם הנבדק יישאר זהה בכל בדיקה לאורך זמן.
- חשוב להבין שגם לאחר שעשיתם הכל כפי שצריך והגעתם למסקנה, אין זה אומר שהדבר בהכרח יתקיים בעתיד, ולכן חשוב להמשיך ולעקוב אחר תוצאות הקמפיינים ולבצע בדיקות נוספות לפי הנחות חדשות.
גרף אחוזי פתיחת המיילים
בתמונה שמעל אתם יכולים לראות את ההבדלים המשמעותיים שנוצרו באחוזי פתיחת האימייל, רק בעקבות שינוי שורת הנושא.
טבלת AB Testing – בדיקת שורת נושא
שימו לב כיצד A/B Testing הראה שהוספת פנייה אישית יותר: "You Need to Know" מעלה את אחוזי הפתיחה.
סיכום
דיוור A/B Testing דורש מאמץ והשקעה, אולם זהו אחד הכלים הטובים ביותר המוצעים לאנשי שיווק. שימוש נכון ומושכל בו יכול לשנות את תוצאות הקמפיין ללא היכר, ובאופן כללי מאפשר למשווק ללמוד על קהל לקוחותיו מידע רב.
מעבודה עם לקוחות רבים אנחנו לא פעם עדים לא פעם לאנשי שיווק שכל מטרתם היא לשלוח את הקמפיין עד זמן X כפי שהמנהל דורש. אנו ממליצים לאותם לקוחות להיזכר שקמפיין טוב הוא יותר מ"שגר ושכח". בהינתן והוא נבנה נכון, הקמפיין יכול להביא לגידול משמעותי במכירות, בעניין של הלקוחות ובמחוייבות שלהם.
בהצלחה,
צוות inwise.
