זה שיש לי עניין לא פתור עם אנליטיקס וחווית משתמש זה לא חדש וגם התייחסתי לזה בעבר במספר פעמים. יתרה מכך, השילוב של שניהם במשפט אחד לוחצים לי על הנקודה שישר מפעילה את מנגנון ההתנגדות העקרונית (אין מה לעשות, העבודות על הפוסט-מודרניזם שכתבתי בתואר הראשון השאירו את חותמן).
עבורי, כל הסיפור הזה של מדידת התנהגות אנושית משתייך אוטומטית לתיאוריות ביקורתיות שרואות את עולם המדידות כחלק משיח כלכלי ששואף לנרמל את ההתנהגות האנושית ולמסגר אותה סביב הערכה מספרית על מנת שזו תהיה נוחה יותר למעקב, מדידה וניטור, וכל זאת בשביל לייעל את התהליך הצרכני והפוליטי. יחד עם זאת, למרות הנטיות הביקורתיות שלי אני לא יכול להתכחש לעובדה שיש משהו מגניב בעבודה עם מספרים, וברגע שמבינים איך לעבוד איתם (בין היתר, לא לקחת כל נתון כמובן מאליו) אפשר להוציא תובנות ממש חזקות (ואני לא מדבר על התובנות הנחוצות-אך-בנאליות של A/B Tests).
לפני קצת יותר מחצי שנה הייתי בסדנת מדידת חווית משתמש של תומר שרון במסגרתה הוא הציג את מודל HEART (הוא גם כתב עליה סדרת פוסטים מעמיק ששווה קריאה). זה נשמע לי סופר-מעניין וחורג מהשימושים השגרתיים של האנליטיקס, אז התחלתי לקדם את השימוש בו כדי לראות אם הוא באמת עובד, ואם כן, אז אלו תובנות אפשר להוציא ממנו.
לשמחתי הרבה התחוור לי שהצוות של גוגל שפיתח את מודל HEART פירסם עליו מאמר מדעי, ואני, בהיותי חובב מאמרים אקדמים מושבע, אצתי רצתי לקרוא אותו. מה שהכי אהבתי בו זו המתודולוגיה הברורה שלו והאינטגרציה בין מחקר כמותני מבוסס מספרים גדולים לבין חווית משתמש. לכן, ברגע שסיימתי אותו ידעתי שזה מאמר שעוד אחזור אליו וארצה להפנות אליו אנשים, וכך החלטתי לקחת את המושכות ולהוציא ממנו לעברית את כל החלקים העסיסיים.
אז יאללה, בואו נתחיל.
מדידת חווית משתמש במספרים גדולים: מטריקות מוכוונות משתמש עבור אפליקציות ווב / קרי רודן, הילארי האצ׳ינסון ושין פו
כשאנחנו מדברים על אנליטיקס ומדידות הנטייה היא לבחון אותן לפי אינטרסים עסקיים – כמה הכלי הזה עושה ברמת ה-CTR, כמה עמודים נצפים יש לי, כמה אנשים משאירים לידים וכו׳. השימוש באנליטיקס ומדידות לצורך הסקת מסקנות על חווית משתמש פחות נפוץ משום שהמטריקות הללו גנריות מכדי להיות ישימות על מוצר או שאלת מחקר ספציפיים, מה גם שכמות הדאטה הזמינה יכולה להיות יותר מדי גדולה לעיכול.
מודל HEART בא לענות על הקשיים הללו וליצור מסגרת ותהליך להגדרת מטריקות מוכוונות משתמש, הן התנהגותיות והן גישתיות, למדידת והערכת חווית השימוש במוצר. יחד עם זאת, יש לו שני סייגים. הראשון, המודל לא עומד לבדו אלא צריך להיות מוצלב בממצאים מתוך מקורות נוספים כמו בדיקות שמישות ומחקרי שטח. שנית, השימוש בו טוב במיוחד להערכת טיב החוויה של מוצרים חדשים שעלו לאוויר אך בשום פנים ואופן הוא הוא לא תחליף למחקר משתמשים מקדים.
PULSE Metrics
כאמור, המטריקות הנפוצות מתמקדות באספקטים העסקיים ו/או הטכנים של המוצר וחברות רבות משתמשות בהן למעקב אחר הבריאות הכללית של המוצר. אלו הן Pulse metrics – עמודים נצפים (Pages), משך זמן ללא תקלות (Uptime), מהירות העברת המידע מרגע הקריאה (Latency), משתמשים פעילים בשבעת הימים האחרונים (Seven day active users) ורווחים (Earnings).
מטבע הדברים, המדדים הללו קריטים לפעילות החברה אבל הם מציעים ערך קטן מאוד על חווית משתמש, מה שעושה אותם לבעייתיים כשאנחנו רוצים להעריך את מידת ההשפעה של שינויים ב-UI. בנוסף, המספרים הללו מעורפלים מבחינת הפרשנות שלהם, לדוגמא, עלייה בכמות הדפים הנצפים של פיצ׳ר מסוים עלולה לההתרחש בגלל שתי סיבות, או שהוא פופולארי במיוחד או בגלל שהממשק המבלבל גורם למשתמש ללכת לאיבוד בתוכו כך שהוא מרבה להקליק דרכו כדי להבין איך לצאת ממנו.
HEART Metrics
מודל HEART, לאור החסרונות של מטריקות ה-PULSE, מייצר מסגרת מטריקות תחליפית – שמחה (Happiness), מעורבות (Engagement), אימוץ (Adoption), שימור (Retention) והצלחה (Task Success) – מהן ניתן לגזור מדדים ספציפיים שישמשו למעקב אחר איכות חווית השימוש:
1. שמחה (Happiness) – מטריקות גישתיות שמתייחסות לאספקטים סובייקטיבים של חווית משתמש כמו שביעות רצון, משיכה עיצובית, סבירות להמלצה וקלות שימוש נתפשת. מדידות ה״שמחה״ מתבצעות באמצעות סקר, ותכנון נכון שלו על בסיס ציר זמן (למשל, הקפצה שלו אחת לשבועיים) יכול לראות את סטטוס שביעות הרצון של המשתמש ולגלות מגמות של שיפור או להפך.
2. מעורבות (Engagement) – ֿמטריקה התנהגותית שמתייחסת לרמת המעורבות של המשתמש עם המוצר כמו תדירות, אינטנסיביות ועומק האינטראקציה במשך תקופת זמן מוגדרות. דוגמאות לכך יכולות להיות מספר הביקורים בשבוע של משתמש או כמות התמונות שמעלה משתמש בכל יום. בדרך כלל נכון לדווח על מטריקת מעורבות כממוצע למשתמש ולא כסך הכל אירועים, משום שעלייה בסך האירועים יכולים להיות עלייה בכמות המשתמש ולא בכמות השימוש. 3+4. אימוץ ושימור (Adoption and Retention) – מטריקות שמספקות תובנות לגבי מספר המשתמשים היוניקים (Unique Visitores) בתקופה זמן נתונה. מטריקות אימוץ מודדות כמה משתמשים חדשים התחילו להשתמש במוצר בתקופת זמן נתונה (למשל, מספר החשבונות החדשים שנפתחו בשבעת הימים האחרונים), ומטריקות שימור מודדות כמה מהמשתמשים בתקופת הזמן הנתונה עדיין עושים שימוש במוצר (למשל, אחוז המשתמשים בתאריך מסוים שעדיין משתמשים במערכת לאחר שלושה חודשים). מטריקות אימוץ ושימור שימושיות במיוחד במוצרים ופיצ׳רים חדשים או או במקרים בהם המוצר עובר תהליך עיצוב מחדש. עבור מוצרים ״ישנים״ המספרים הללו נוטים להיות יציבים במהלך הזמן, למעט שינויים עונתיים שנובעים מאירועים חיצוניים (כמו חגים, חופשות וכו׳).5. הצלחה (Task Success) – מטריקות התנהגותיות מסורתיות של חווית משתמש כמו יעילות (הזמן להשלמת משימה, אחוז המשימות שהושלמו) ויחס שגיאות. דרך מדידה אחת היא בדיקות שמישות מרוחקות או מחקר בנצ׳מרק שבו ניתן להכווין משתמשים למשימה ספציפית. בגדול, מטריקת ההצלחה היא מטריקה די מורכבת מבחינת היכולת להגדיר מה ואיך למדוד אותה כי לא תמיד ניתן לעשות זאת בקלות.
גולים-סימנים-מטריקות – Goals-Signs-Metrics
חמשת המטריקות שנזכרו לעיל הן חסרות ערך כל עוד לא מגדירים מטרה אחריה ניתן לעקוב ולבדוק את האם ישנה התקדמות. לצורך כך המודל מציע מהלך שמורכב משלושה צעדים – הבהרת המטרות של המוצר או הפיצ׳ר, זיהוי הסימנים שמרמזים על הצלחה, ולבסוף בניית מטריקות המעקב.
1. מטרות – זיהוי מטרות המוצר או הפיצ׳ר, במיוחד במונחים של חווית משתמש. אלו משימות המשתמשים צריך לעשות כדי להצליח בהן? מה המטרות של העיצוב מחדש בא להשיג?
2. סימנים – איך הצלחה וכשלון באים לידי ביטוי בהתנהגות המשתמש? אלו פעולות יכולות לרמוז שהמטרה הושגה? אלו תחושות או תפישות מתאימות להצלחה או לכשלון? הסימנים חייבים להיות רגישים וספציפים למטרה וצריכים ״לזוז״ רק בגלל חווית משתמש טובה או רעה ולא בגלל סיבות לא קשורות אחרות.
3. מטריקות – האופן שבו ניתן לתרגם את הסימנים למדדים ומספרים שניתן לתפוש, להעריך ולעקוב. כשמגדירים את המטריקות מומלץ להשתמש במדדים כמו יחסים, אחוזים וממוצעים פר משתמש.
סיכום
מודל HEART משמש את גוגל בעשרות מוצרים שונים. העבודה איתו הראתה שהוא עזר לצוותי המוצר לקבל החלטות שהיו גם מבוססות דאטה וגם מוכוונות משתמש, ושהמתודולוגיה של המודל עזרה לקבוצות למקד את הדיונים במה שחשוב באמת.
ופה נגמר המאמר.
ופה מתחילות מילות הסיכום שלי
החסרון היחיד של מודל HEART הוא שעלולים להיות מקרים בהם ההטמעה של המטריקות באמצעות אנליטיקס יכולה להיות מורכבת מדי ותצריך אפיון של איש אנליטיקס מקצועי. מהנסיון שלי (ואולי יש עוד דוגמאות) זה בעיקר קורה כשהמבנה של המוצר הנמדד מורכב מדי ברמת הפונקציונאליות ו/או כמות התהליכים שמתרחשים בו (ואז, פתרון אפשרי יכול להיות יצירת custom dimensions או הטמעה מיוחדת של איבנטים). דרך אחת להתמודד עם הבעיה הזו היא לפשט את הבדיקה, זאת אומרת, לבחור תת-תהליך בתוך המוצר ולהתמקד בו. למשל, אם אני רוצה למדוד את חווית המשתמש על עמוד המועדפים ומשהו בהטמעה מסתבך או לא מצליחים להחליט על הסימנים והמטריקות לגביו, אז אפשר לעשום זום-אין ולהתמקד בפיצ׳ר יצירת וניהול רשימות מועדפים שנמצא בתוך העמוד.את הפוסט הזה לקח לי המון זמן לכתוב, אבל בכל פעם שנגעתי בו חלחלה בי ההבנה עד כמה יותר ויותר המודל הזה מרתק אותי. עם יד על הלב, הוא הפך לי את התפישה מבחינת האופן שבו אפשר לעבוד עם מספרים. הוא אולי נשמע טריוויאלי, אבל בתקופה האחרונה אני עוסק במדידות ובדאטה באינטנסיביות יחסית גבוהה, ורוב העבודה (אם לא כולה) היא בעיקר ברמות ה-KPIs העסקיים ובמדדים ״מסורתיים״ שבוחנים את דופק המוצר. מכאן החדשנות שלו עבורי – הוא עושה שימוש במספרים לא רק לבחינת דופק המוצר מבחינה מוצרית ועסקית אלא גם לאיכות החוויה שלו, וזה ממש ממש ממש אחלה של דבר.
מאמר מעניין, תודה