200 התחילו להירשם. למה רק 130 הפעילו חשבון בתוך יממה?
בדוגמה עם נתוני הרשמה להמחשה, נאתר ב־PostHog את השלב שבו נרשמה ירידה, נצליב את הספירה עם מערכת החשבונות ונבדוק הסבר אפשרי בעזרת Playwright לפני שמשנים את הטופס.
למחשבון ההרשמהמה הנתון באמת אומר?
נניח ש־200 אנשים שונים התחילו להירשם ו־130 מהם הפעילו חשבון בתוך 24 שעות. שיעור ההשלמה הוא 65%. אצל 70 האחרים לא נרשמה הפעלה בפרק הזמן הזה. חלקם עשויים לחזור מחר. המספרים כאן נועדו להמחשה, והסיבה שבגללה אדם מסוים הפסיק עדיין פתוחה. [6]
משווים את אותו מסלול בשתי מערכות
נותנים לכל מי שהתחיל להירשם 24 שעות מלאות, גם אם התחיל ביום האחרון למדידה. ב־PostHog מגדירים שלבים לפי סדר וסופרים כל אדם פעם אחת בכל שלב. אפשר להציג אחוזים ביחס להתחלה או לשלב הקודם. גם התיעוד של Google Analytics ממחיש איך כניסה באמצע המסלול משנה את הספירה. לפני שמשווים דוחות, מתאמים את הגדרות הכניסה, הסדר והמכנה. [1] [2]
- מגדירים שלוש נקודות מדידה: תחילת מילוי הטופס, קבלת ההרשמה בשרת והפעלת החשבון. לכל נקודה שולחים אירוע מדידה, בלי הערכים שהוקלדו בשדות.
- אם ההרשמה התקבלה אצל 160 מתוך 200, שיעור המעבר בשלב הראשון הוא 80%. בשלב הבא 130 מתוך 160 הפעילו חשבון, כלומר 81.25%. כשאותו דוח מציג 65%, המכנה הוא כל 200 האנשים שהתחילו.
- משווים את מספר ההפעלות ב־PostHog לספירה מצרפית במערכת שמנהלת את החשבונות, עבור אותה קבוצה ואותן שעות. אם יש פער, בודקים מי נכלל במדידה לפי בחירות הפרטיות שלו, האם מזהה המשתמש השתנה והאם נספרו ניסיונות חוזרים או חשבונות בדיקה.
הופכים תלונה אחת לבדיקה שאפשר לחזור עליה
נניח שלקוחות מספרים לתמיכה שבטלפון הם מתקנים שגיאת כתיב בכתובת המייל ואז אינם מצליחים להמשיך. משחזרים ב־Playwright את גודל המסך ועובדים עם חשבון בדיקה בסביבת ניסוי. מזינים כתובת שגויה, בודקים שהטופס מצביע על השדה, מתקנים ומוודאים שמופיע אישור. במערכת הבדיקה מחפשים הרשמה אחת שהתקבלה. מדריך הטפסים של W3C עוזר לבחון גם אם הודעת השגיאה מסבירה לאדם מה עליו לתקן. [3] [5]
איפה נכנסים Claude ו־MCP?
אפשר להריץ את הבדיקה ישירות ב־Playwright. צוות שכבר חיבר את Claude ל־Playwright דרך MCP יכול לבקש ממנו לעבור על אותו תרחיש ולתעד את המקום הראשון שבו התוצאה שונה מהמצופה. את התוצאה הרצויה שומרים בבדיקה קבועה שהצוות יכול להריץ שוב. משתמשים בפרטים פיקטיביים ובתיבת דואר לניסוי. הקלטות של לקוחות ופרטי גישה לחנות הפעילה נשארים מחוץ לשיחה עם המודל. [4]
מה ייחשב שיפור?
נניח שבמדידה מאוחרת יותר, בקבוצה דומה, הופעלו 150 חשבונות מתוך 200 התחלות. שיעור ההשלמה עלה מ־65% ל־75%, פער של עשר נקודות אחוז. בדיקת הדפדפן יכולה להראות שאחרי התיקון הצלחתם להמשיך עם הכתובת המעודכנת. גם מקור התנועה או שינויים במסירת המיילים יכולים להסביר חלק מהעלייה. אם החלטת ההשקעה תלויה בסיבת השיפור, מתכננים השוואה מבוקרת עם מדגם מתאים. [7]
מה נעשה עם הנתונים שלכם?
לשיחת היכרות של 20 דקות ללא עלות עם אריאל מספיק להביא שתי ספירות מצרפיות, את השלב שמטריד אתכם ואת מה שהלקוח אמור לראות. נבחר יחד איזה פער לבדוק ראשון. בפיילוט בהיקף מוסכם תוכלו לקבל מפת אירועים, בדיקת דפדפן חוזרת, השוואה לפני ואחרי השינוי והדרכה למי שאחראי על הטופס.
כמה אנשים השלימו את ההרשמה?
המספרים ההתחלתיים הם דוגמה. הזינו את מספר האנשים הייחודיים באותה קבוצה. השתמשו באותה הגדרת אירוע ובאותו פרק זמן להשלמת ההרשמה.
השוואה לקבוצה נוספת
- שיעור השלמה
- אנשים שלא השלימו
- שיעור האנשים שלא השלימו
- שיעור השלמה בקבוצה השנייה
- שינוי בשיעור ההשלמה
הבדיקה הבאה
- בדקו דוגמה לכל אירוע וודאו שניסיונות חוזרים של אותו אדם נספרים פעם אחת.
- עברו את השלב החשוד עם חשבון בדיקה בסביבת ניסוי. רשמו מה ציפיתם שיקרה ומה קרה בפועל.
- לאחר שינוי, השוו קבוצות דומות באותו חלון זמן. כדי לייחס את ההבדל לשינוי צריך לבדוק גם הסברים אחרים.
הנתונים מעובדים בלשונית הזו. אפשר להעתיק או להוריד אותם בלי לשלוח אותם ל־SundAI.