על R ועלי:  אלו מיכם שמכירים אותי אישית יודעים שאני שהאהבות הגדולות שלי בחיים (שאינם בני אדם) זה מידע פתוח, קוד פתוח, אינטרנט וסטטיסטיקה. את כל אלו אני זוכה (בצורה כזו או אחרת) לשלב דרך שפת R. R זו סביבת פיתוח, ושפת תכנות, המיועדת לתכנות סטטיסטי. התוכנה מפותחת ומופצת בקוד פתוח ומאפשרת אינספור שימושים והרחבות.

קהילות R בעולם:  באופן דומה לפרוייקטים אחרים כמו ויקפדיה וורדפרס, הפרוייקט המונומנטלי שהוא R מצליח בזכות אינספור מתכנתים וסטטיסטיקאים אשר משפרים את המערכת עוד ועוד. הקהילה של משתמשי R היא קהילה חובקת עולם עם קבוצות אשר נפגשות בערים גדולות ברחבי העולם. קבוצות מקומיות של משתמשי R מכונות גם RUG (R user group). יש רשימה של קבוצות כאלה כאן, ויש גם בלוג עם הרצאות מוקלטות ממפגשי R ברחבי העולם (כאן).

קהילת R בישראל?  ומה לגבי ישראל? בישראל יש קבוצת דיון של משתמשי R בגוגל גרופס אשר הוקמה על ידי יונתן רוזנבלט (תודה יונתן!). וגם היו שני סדנאות על R במהלך שנת 2012, אשר אורגנו על ידי איגוד הסטטיסטיקאים הישראלים (קישור). אבל זה עדיין לא קהילה.

בואו ניפגש: כדי שנהפך להיות קהילת משתמשי R בישראל, אנחנו צריכים להיפגש ולהכיר. רצוי באופן קבוע יחסית (פעם בחודש עד 4 חודשים?). מה שמוביל אותי למטרת הפוסט. אם אתם מעוניינים להיפגש עם אנשי R, אנא השאירו את פרטיכם בטופס הזה (הטופס ממוקם באתר חדש שהוקם לצורך ריכוז מידע עבור הקהילה שתתהווה). אחרי שהטופס יתחיל להתמלא, אני אוכל לקבל מושג על מי עוד "נמצא שם". ולפי זה אפשר יהיה להתחיל לתכנן מפגשים (בהתאם לרקע של האנשים שירשמו), ולגלגל את הכדור הלאה…

רצינות הבלוגר: רק כדי להבהיר שאני רציני לגבי הפוסט הזה – 1) הייתי בין המארגנים של שני כנסי קוד פתוח (וורדקמפ 2007 וורדקמפ 2008). ביוני הקרוב אני מתכנן לטוס לארה"ב לכנס useR!2012 הבינלאומי, אני מניח שבאחד ממפגשי ה- R הקרובים אני אתן הרצאה על דברים מעניינים שאגלה שם. וגם תודה לשלמה יונה (מאאוטבריין) אשר דחף אותי לקדם את הנושא, ומסייע מאד בצד הלוגיסטי והרוחני.

באולפן שישי מהימים האחרונים (30.03.2012), התנוססה לה כתבה תחת הכותרת "כך זינק המס שאנחנו משלמים על הדלק". בכתבה מופיע תרשים מרשים המראה את הטיפוס הבלתי נלאה של המס שאנחנו משלמים על הדלק בעשור האחרון. היות והרבה חברים בפייסבוק החליטו להפיץ את התרשים הזה, החלטתי להסתכל עליו קצת יותר, הנה הוא:

בתרשים הזה יש שני כשלים משמעותיים: הראשון הוא מבחינה עיצובית (תרשים עמודות תלת מימדי, במקום דו מימדי) והשני הוא מבחינת סוג הנתונים שהוצגו (נתונים גולמיים ללא תיקנון). וכעת הסבר מורחב:

הטייה 1: תלת מימד כושל בלשקף את הנתונים

נתחיל בנושא העיצוב. עד היום לא נתקלתי בשום גרף עמודות תלת מימדי שהיה יותר אינפורמטיבי מאשר הגרף הדו-מימדי. נהפוך הוא, תרשימים כאלה הם לרוב סוג של דיסאינפוגרפיקה שמעוותת את הרושם שנוצר מהנתונים. במקרה שלנו, מה שהתלת מימד עושה הוא להוסיף נפח לא מלבני לעמודות, מה שלא תורם לשימושיות של הגרף, רק גורע ממנו.

הטייה 2: הבחירה של תחילת הצירים

הבחירה של מה תהיה נקודת ההתחלה של הצירים כאן משפיעה על הגודל היחסי של כל עמודה. תסתכלו בבקשה על העמודה הכי שמאלית והכי ימנית בגרף. מדידה פשוטה של השוואת הגבהים מראה שהעמודה הימנית (מבחינה גרפית) נראית כמעט פי שלוש וחצי מהגובה של העמודה השמאלית. אבל אם טורחים לקרוא את המספרים, מגלים שמדובר במספר שהוא פחות מפי שלוש (עדיין עליה, אבל לא פי שלוש וחצי). זה כנראה בגלל הבחירה של ראשית הצירים (תודה להדב מהתגובות על התיקון שסיפקה לי)

כך נראה הגרף כאשר מציגים אותו בדו-מימד, ועם נקודת ה-0 בתחילת ציר ה- y.  פחות אקשן אבל (הרבה) יותר מדוייק:

הטייה 3: תנו את הנתונים הגולמיים כדי ליצור בילבול מקסימאלי

כעת נעבור להטייה השלישית בגרף – לתת נתונים גולמיים מבלי לתקנן אותם לגורמים שאינם קשורים למשמעות שמעניינת אותנו.

אני משער שמטרתו של הגרף שהוצג בשידור הייתה לעורר זעם כלפי הממשלה. עלייה במחירי הדלק היא דבר מרגיז, שהרי מי מאיתנו רוצה לשלם לממשלה יותר מיסים? (שבין כה הולכים בשביל לשלם על דברים שאנחנו לא תמיד מסכימים לגביהם, כמו שחיתות, ותשלומים למגזרים ייעודיים, כל עוד אנחנו לא שייכים להם). אבל רגע, האם זה באמת מה שהגרף הזה מלמד שקרה? אני לא בטוח, ובואו נראה למה.

כמות הכסף שאנחנו מוציאים על דלק קשורה באחוז המיסוי של הדלק (עם תיקנון לערך השקל וכדומה), נשמע הגיוני, לא?! אך לא זה הנתון שהביאו לנו. מה שהתרשים שהוצג מתאר (כפי שמופיע בכיתוב הלבן הקטן שמופיע מתחת לצד השמאלי של הכותרת) הוא כמות ההכנסות במליארדי שקלים שנכנסו לקופת המדינה מהמס על הדלק (לפחות כך אני מבין את הכיתוב). ובכן, זה המספר הזה אכן עלה באופן די דרמטי בעשור האחרון. למעשה, הסכום הזה עלה כמעט פי שלוש בתוך עשר שנים, זה אכן הרבה.
אבל רגע, האם הסיבה לעלייה בהכנסות ממיסוי על הדלק היא בגלל שאני ואתם משלמים יותר מיסים על הדלק? כנראה שגם, אבל לא רק.
סביר מאד להניח שהעלייה בהכנסות קשורה לדברים אחרים. לדוגמא, העלייה בכמות הרכבים על הכביש, אשר יכול לשקף את העלייה בכמות האזרחים שיכולים לנהוג. לא ניסיתי למצוא נתונים כאלה, אבל כן מצאתי בזריזות את הנתונים של גודל האוכלוסייה בישראל בעשור האחרון (מקור: ויקיפדיה), והפלא ופלא, המספר הזה עולה. למעשה, כאשר מציגים את התרשים של עליית ההכנסות מהמיסוי ביחד עם העלייה בגודל האוכלוסייה, נראה ששניהם עולים "ביחד".

אם ניצור תרשים פיזור ונתאים להם קו לינארי, נראה שאפשר לתת תחזית ממש מעולה של כמות ההכנסות ממיסוי הדלק, פשוט על פי גודל האוכלוסיה (הקורלציה היא כמעט מושלמת, עם R בריבוע של 0.98):

למען ההבהרה: המשמעות של הקורלציה הכמעט מושלמת הזו איננה שכל עליית המיסים מוסברת על ידי הגידול באוכלוסיה. (זוכרים, קורלציה היא לא סיבתיות…)

המשמעות של הקורלציה היא שלתת את הנתונים הגולמיים, בתקופה שבה יש צמיחה של הרבה גורמים, היא להתיימר ולומר שכל הסיפור של עליית המיסים מנותק מההקשר של צמיחה בגורמים אחרים באותו הזמן. ברור לי שהיה עלייה במיסוי על הדלק, ברור לי שהיום אני משלם יותר על דלק. יחד עם זאת, הנתונים שערוץ החדשות בחר להביא לא עוזרים לי לדעת כמה אני משלם יותר, רק כמה הממשלה מרוויחה יותר (מה שתלוי בעוד דברים מלבד בכמה אני משלם יותר, כמו לדוגמא- כמה אנשים משלמים יותר).

אז מה זה אומר?

שהגרף שהביאו לנו בחדשות לא עוזר לנו לדעת כמה החמיר מצבנו (או שלא). מה שכן, זו הזדמנות נהדרת להדגים את שני הדיסאינפוגרפיקות עליהן עברתי בפוסט הזה.

עידכונים לפוסט:

1. אבנר מ"שקרים יפים", פירסם רשומה שבה הוא כן מביא את הנתון על מחירי הדלק בתדלוק עצמי מהעשור האחרון. וממחיש כיצד גם הנתון הזה (כשלעצמו) לא מספיק בשביל להבין את מלוא המשמעות של שינויי המחירים. אין מה לעשות, העולם מורכב…
2. לאור הביקורות (הלגיטימיות) בתגובות, תיקנתי שני תרשימים שמציגים את צמיחת האוכלוסיה בישראל, כך שיכללו את ה-0 בציר המספרים. בגרף הראשון זה נראה די טוב, בגרף של הקורלציות זה יוצא קצת מעוות, אבל כנראה עדיף ככה… (טועים, טעיתי, אטעה – תודה על הסובלנות, אם יש כזו )
3. תיקון נוסף לפוסט היה להבחין שהסיבה לחוסר הפרופורציות בין העמודות נבעה מתחילת הצירים ולא מהשימוש בתלת מימד (כפי ששגיתי בתחילה לחשוב)
4. בינתיים,  מחלקת המחקר של הכנסת בדקה את הנושא יותר לעומק. הבדיקה שלה כוללת התייחסות למחירי הדלק במונחים של כוח קנייה ונטרול של השפעת הפערים ברמת החיים בין המדינות. על פי הנתונים, ישראל במקום ה-6 באירופה מבחינת יוקר הבנזין ובמקום ה-4 מבחינת גובה המס על הדלקים. קישור.

פיספסתי משהו? הפוסט ריגש אותכם? כרגיל, אני אוהב לקרוא תגובות…

מדור הכלכלה של ווינט פירסם לפני כמה שעות את הנתונים שפרסם היום משרד הבינוי והשיכון.

המממ, כשאני אומר "פירסם", כוונתי היא שהעיתון נתן צילום מסך של טבלת נתונים, ביחד עם תיאור של היחס בין מחירי הדירות בתאריכים שונים (דהיינו, הירידה באחוזים).
אז מה הפריע לי? שלהסתכל על (צילום מסך) של טבלת נתונים גדולה לא ממש עוזר לי להבין מה קורה בשוק הדיור (ותיאור האחוזים של הכתבה גם כן לא עוזר).

הכנת הנתונים

רציתי ליצור תרשים של הנתונים. בשלב הראשון, הורדתי את התמונה של טבלת הנתונים מהאתר של ווינט (קישור) . בשלב השני נגשתי לגוגל וחיפשתי "OCR jpg to doc", כדי למצוא אתר שיאפשר לי להמיר את התמונה למספרים (כדי שאני לא אצטרך להתאמץ יותר מידי בהקלדה). הנה קישור לאתר שהצליח לא רע להמיר את התמונה למסמך וורד (קישור). את הטבלה שבקובץ וורד העברתי לאקסל, ותיקנתי כל מיני שגיאות (פסיקים, נקודות, ואפסים חסרים).
אתם מוזמנים להוריד את הקובץ שהתקבל ולחשוב על דברים יצירתיים אחרים לעשות איתו (קישור לקובץ הנתונים).

התרשים של מחירי הדירות בשנתיים האחרונות

מה שמצער אותי זה שאני לא מבין את המשמעות המדוייקת של המחיר. אני לא יודע אם זה מחיר ממוצע לדירה בגודל מסויים. באיזה איזורים בארץ, וכן הלאה. המשמעות המדוייקת של הנתון לוטה בערפל, לא מתואר בכתבה של ווינט, ודורש חפירה באתר של משרד השיכוי והבינוי (וזה בהנחה שהם רשמו את ההסבר שם איפשהו).
אבל בואו נניח שהנתון הזה בכל זאת מייצג משהו על מה שקורה בארץ. הנה התרשים:

הקו הכחול הוא של מחירי דירות יד שניה, בעוד שהקו האדום הוא של מחירי דירות חדשות. הקו השחור שהוספתי על גבי הנתונים הוא החלקה על פני 4 תקופות (אפשר לחשוב על זה כעל קו המגמה "הממוצע" של מחירי הדירות).

מחשבות על הנתונים (ומחאת האוהלים)

כמה תופעות מעניינות צצות כשמסתכלים על הגרף:

1. מחירי הדירות הם נתון "רועש" בין חודש לחודש (שזה די מרשים לראות כשחושבים על זה שמדובר בממוצע של מחירים). אחת המסקנות שמתקבלות מזה היא שלהשוות חודש ספציפי עם חודש ספציפי בשנה שלפני כן, זה לא בהכרח ההשוואה הכי טובה. מדוע? כי ייתכן שבמקרה (או בכוונה שאיננה "נקיית כפיים") נבחר להשוות שני חודשים עבורם היה הפרש גדול. וייתכן וההפרש הזה הוא מיקרי, ויהיה מתון יותר בחודש שלאחר מכן. זה אומר שלשם השוואות בין תקופות, ייתכן ועדיף להסתכל על נתונים שעברו "החלקה" (דהיינו, "מיצוע", מה שמופיע בתרשיימים למעלה בתור הקו השחור).
   זה גם אומר שיכול להיות חודש שבו פתאום יכריזו ש"מחירי הדירות מתרסקים" (בעיקר כאשר מדובר במחירי הדירות החדשות), אבל שחודש לאחר מכן המחירים שלהם יתאזנו חזרה למחירים הקודמים.
2. נראה שיש יותר תנודתיות במחירי הדירות החדשות לעומת מחירי הדירות יד-שניה (זה רק מהסתכלות בעין, לא בהכרח מדובר בהבדל מובהק סטטיסטית). הסבר אחד על כך נתן אוהד דנוס, יו"ר לשכת שמאי המקרקעין, אשר אמר בעקבות פרסום הנתונים כי "הודעת משרד השיכון תואמת אחת לאחת את תחזיות לשכת השמאים בדבר ירידת מחירים זמנית, בשיעורים מינוריים, כשהקבלנים מוכנים להתפשר מעט יותר משוק דירות היד השנייה, וזאת רק הממונפים שבהם".
3. מאז תחילת מחאת האוהלים (דהיינו, יולי 2011), נראה שהייתה "ירידה" במחירי הדירות החדשות והיד-שניה (בהשוואה לשיא). אם כי הירידה היא על פני המגמה, יותר משמעותית בדירות החדשות – ובכל מקרה די זעומה ביחס לשונות הכללית של הנתונים. האם הנתונים האלה מלמדים אותנו שמחאת האוהלים השפיע על שוק הדיור והורידה את מחיריו? זו שאלה מצויינת, אינני יודע את התשובה. ייתכן ומחאת האוהלים הגיע באותו הזמן שהתחילה להתהפך מגמת העלייה של מחירי הדיור.

בשורה התחתונה, אני לא רואה בשורה גדולה בנתונים האלה, רק קצת תובנות שלא ברור לי מה אפשר לעשות איתן.

אם יש לכם מחשבות על מה לעשות עם הנתונים, או איך לפרש אותם – אשמח לקרוא עליהם בתגובות, אני אוהב ללמוד דברים חדשים…

דף הפייסבוק של ידיעות אחרונותפירסם הודעה עם הגרף שמתחת, ומעליו הטקסט הבא:

התעצבנתם מחשבון החשמל המנופח? כשתקבלו את החשבון הבא תתעצבנו עוד יותר. כתבנו עמיר בן-דוד מדווח כי תעריפי החשמל יעלו בשבוע הבא בעוד 8.9%, ובכך ישלימו זינוק של 24% בתוך שנה. תראו כמה שילמתם אז – וכמה אתם עומדים לשלם עכשיו

אין ספק שכעס זה דבר שמושך תשומת לב של קוראים, ועלייה במחירי החשמל בפירוש עונה על הקריטריון הזה. אבל רגע, האם אתם שמים לב לאיזושהי בעיה בגרף שלמעלה? מה שאנחנו רואים כאן זה מצב שבו יש גרף שמנסה לתאר את הטקסט הכתוב, מבלי להקפיד על מה שהמספרים אומרים. זאת במקום לוודא שהגרף מייצג את המספרים, ושהטקסט הכתוב מתאר את הגרף. אז איזה בעיות יש בגרף הזה? נתחיל בגרף העליון שהופיע בעיתון: 1) בציר ה- X (הציר האופקי), המרחק שמופיע בתרשים העמודות, שבין מארס 2011, נובמבר 2011, ואפריל 2012 הוא קבוע (למרות שהמרחק בין התאריך הללו איננו קבוע). 2) בציר ה- Y (הציר האנכי), אנחנו לא רואים את נקודת ה- 0, מה שמקשה לקבל פרופורציה נכונה של מידת העלייה. מהתסכלות בגרף זה עלול להרגיש כאילו העלייה במחיר היא בערך פי 2 מהמחיר שהיה ב- 2010, למרות שזה בפירוש לא המקרה. גרף שישקף את הנתונים טוב יותר, יהיה הגרף הבא: (אשר נוצר בזריזות באקסל), ציר ה- X מתאר את מספר החודשים שעברו מתחילת 2010: אומנם הגרף הזה פחות יפה מהגרף שלמעלה (אין בו תקעים נחמדים ועולים), והוא פחות קומפקטי (יש בו הרבה מרווחים ריקים). מאידך, הוא משקף את הנתונים יפה. האם אפשר היה למצוא שילוב סביר בין הגרף בעיתון (שנראה יפה) לגרף שאני יצרתי? אני משער שכן, אבל זה יהיה אתגר. כעת נעבור לגרף התחתון שהופיע בעיתון. פה מדובר בעיוות ממש דרמטי אשר לא רק שאיננו משקף את המציאות, אלא גם פוגע בטענה שהעיתון מנסה לקדם. מה הבעיה בגרף הזה? הבעיה היא שהוא מספר כאילו העלייה במחירי החשמל בין 2010 ל- 2012 הייתה במגמת עלייה לינארית (קווית, ישרה), כאשר אם אנחנו משרטטים את הנתונים (שוב, באקסל פשוט) בסקאלות המתאימות, אנחנו מגלים סיפור אחר לגמרי: במילים אחרות, יש מעט קשר בין הגרף שידיעות הציג, לבין המספרים שמופיעים על הגרף. אפשר לראות שהסיפור שהנתונים מספרים הוא של מחיר דומה בשנים 2010 ו- 2011, ואז קפיצה דרמטית ב- 2012. עוד נקודה (עדינה יותר), היא שהנתונים שמוצגים בכתבה הם חסרי קונטקסט. מה היה הטרנד של החשמל בחמש השנים האחרונות? האם זה הגון להשוות בין המחיר של 2012 במשך 4 חודשים שלו, למול המחיר הממוצע של השנים 2011 ו- 2010? (אולי לא, כי אולי יש הרבה רעש, שונות, במחירי החשמל לאורך השנה). אפשר היה גם לחשוב על לתת הקשר של מחירי החשמל בישראל לתופעות אחרות כמו מחירי החשמל במקומות אחרים בעולם, מחירי הנפט והגז במדינות שמהן אנו מייבאים חומרי גלם, ועוד ועוד. כל אלו סוגיות מורכבות יותר שהיה אפשר לחשוב עליהן בהקשר של הצגת הנתונים הנוגעים לתעריפי החשמל בישראל. לסיכום: הגרפיקה שידיעות אחרונות הציג היא "יפה", אך לא משקפת היטב את הנתונים. הסיפור שהנתונים מציג הוא מורכב (ובעיני, מעניין) יותר מזה שמציגה הכתבה. ובכל מקרה, הייתי שמח ליותר נתונים כדי לקבל הקשר על מה שקורה כרגע. עידכונון: עמית בן בסט הציע את המונח (המשובח) "דיסאינפוגרפיקה" בשביל לתאר את התופעה שאנו רואים בפוסט זה. (כמו דיסאינפורמציה, אבל דרך גרפיקה…) פיספסתי משהו? יש לכם עוד דוגמאות יפות לאינפוגרפיקות "מטעות"? יש לכם מילה טובה לתת? אתם מוזמנים להשאיר תגובה…

למה כדאי שכולכם תרפרפו על המאמר שכתבתי? (כלומר – למה כדאי שתפיצו את המאמר הזה לחבריכם)
כי כל פעם שאתם ניגשים לבדיקה רפואית שמחליטה האם אתם "בריאים" או "חולים" – כדאי שתדעו לשאול מהו הערך המנבא החיובי ומהו הערך המנבא השלילי. מדוע? כדי שתבינו, בהינתן שהובחנתם כבריאים/חולים – מה הסיכוי שההבחנה שקיבלתם באמת מתארת את המציאות.
ביום שבו תצטרכו להבין את זה (וזה יגיע), כדאי שתזכרו את המאמר הזה – ותקראו אותו טוב (בניגוד לריפרוף הראשוני שבו אתם בטח תקראו אותו כעת).

בפוסט שלפניכם אני מתחיל מלהסביר (לאט לאט) מה זה "רגישות", "סגוליות" ואז עובר להסביר מה זה "ערך מנבא חיובי ושלילי". אני מראה כיצד השתמשתי בכל המונחים הללו כדי לחלץ את התשובה לשאלה: "בהינתן שאישה עברה ממוגרפיה והובחנה כחולת סרטן השד – מהי ההסתברות שבאמת יש לה סרטן השד?" (התשובה מופיעה בסוף הפוסט)

ונתחיל….

רגישות סגוליות וכו'

נאמר שישנה מחלה כלשהי שאנו רוצים לזהות באמצעות בדיקה חדשה.

ניקח קבוצה של אנשים מהאוכלוסייה, ובאמצעות בדיקה שתמיד צודקת, אנו יודעים באופן וודאי של- 10 מהם יש את המחלה הזו. כך תראה הטבלה:

כעת, היינו רוצים להשוות כמה שיטות חדשות לבדוק האם למישהו יש את המחלה או לא. כדי להעריך עד כמה השיטות הללו טובות, אנחנו נלמד שני מדדים לעשות זאת: רגישות וסגוליות.

רגישות (sensitivity) מודדת מהו אחוז האנשים החולים שהצלחנו לזהות כחולים.

כך לדוגמא, נניח שיש לנו רופא פאסימי אשר רוצה שלא לפספס אף אדם חולה. השיטה שלו היא שכל אדם שהוא בודק מיד מוכרז כחולה. במצב כזה, הרגישות של הרופא הפאסימי תהיה 100%. כי הוא בהכרח יצליח לזהות את כל החולים כחולים. (טיפ לאיך לזכור זאת: היא לחשוב על אמא שיש לה רגישות מיוחדת למתי אנחנו חולים)

עם זאת, השיטה הזו איננה בהכרח מוצלחת. מדוע לא? כי הרופא הפאסימי שלנו גם יאבחן בטעות אנשים בריאים בתור אנשים חולים. עד כמה זה חמור? תלוי באחוז החולים מול הבריאים באוכלוסייה.  בואו נאמר שיש לנו מחלה נדירה כלשהי. כזו שפוגעת ב-1 מכל 100 איש. ושהמדגם שלקחנו מהאוכלוסייה היה של 1000 איש. אז הטבלה עכשיו תראה כך:

ויצא שבמקביל לזיהוי נכון של 10 מתוך 10 חולים, הרופא הפאסימי שלנו גם זיהה בשוגג 990 אנשים כחולים, למרות שהם בריאים. מכאן אני למדים שיש צורך במדד משלים למדד הרגישות כדי להבין את ההצלחה של כלי המדידה שלנו – ואת זה אנו מכנים סגוליות.

סגוליות (specificity או "ספציפיות") מודדת מהו אחוז האנשים הבריאים שהצלחנו לזהות כבריאים.

כך שבמקרה של הרופא הפאסימי, הוא לא הצליח לזהות אף איש בריא מבין האנשים הבריאים, ולכן הסגוליות שלו היא 0%. לעומתו, אם היינו פונים לרופא אופטימי (כזה שמכריז על כל אדם כבריא), אזי הסגוליות שלו תהיה מאד טובה – 100%. אבל מצד שני, הרגישות שלו תהיה 0% (שכן הוא לעולם לא יצליח לזהות אף אדם חולה כחולה).

(טיפ לאיך לזכור זאת: אפשר לחשוב על חבר טוב שיש לו את הסגולה תמיד לחפש את מה שחיובי וטוב ובריא אצל אנשים)

כעת אחרי שלמדנו על רגישות וסגוליות, נוסיף עוד נתון בטבלה. נאמר שהבדיקה החדשה שלנו מצליחה לזהות תשעה מתוך עשרת החולים, אז:

מה נאמר שהרגישות של הבדיקה שלנו?

Sensitivity = 9/10 = 0.9 =90%

ומהי הסגוליות של הבדיקה שלנו? מהטבלה הנוכחית אי אפשר לדעת. נאמר שהבדיקה מצליחה לזהות נכון 792 מתוך האנשים הבריאים, אז נקבל ש:

Specificity = 792/990 = 0.8 = 80%

ונוכל לעדכן את הטבלה כך:

אז על הבדיקה החדשה שלנו אנו יודעים שהיא מצליחה לזהות נכון 90% מהאנשים החולים, ו-80% מהאנשים הבריאים. האם זו בדיקה טובה או לא? באופן טיבעי, היינו רוצים בדיקה שתצליח לזהות 100% מהחולים ו- 100% מהבריאים. אבל לפעמים בדיקות כאלה הן פולשניות, או יקרות. ובמצבים כאלה היינו מעדיפים להסתפק בבדיקה פשוטה/זולה/בטוחה יותר – אפילו שאחוזי הדיוק שלה פחות טובים מהבדיקה המושלמת (את הבדיקה המושלמת, זו שמגלה את ה"אמת", או הכי קרוב לאמת שאנו יודעים עליה, אנו מכנים גם בתור "סטנדרט הזהב" או gold standard).

החישוב של רגישות וסגוליות מאפשר לנו להשוות בין שיטות שונות ולזהות שיטות שהן בהכרח יותר טובות (כאלה שעבורן מתקבל שהן הרגישות והן הסגוליות שלהן יותר גבוהות), או שיטות שמציאות אלטרנטיבות (נאמר, יותר רגישות, אבל פחות סגוליות – או ההיפך). ההחלטה מה עדיף בבדיקה, רגישות או סגוליות גבוהים, תלויה בהקשר. ויש מצבים שבהם הבחירה בין השניים אינה נתונה להחלטתנו.

כעת נאמר שאנחנו אחד מה-1000 אנשים הללו ושאנו מגיעים לרופא והוא משתמש בבדיקה שמתוארת בטבלה כדי לבדוק אותנו עבור המחלה הזו (ההחלטה לבצע את הבדיקה היא ללא סיבה מיוחדת, אקראית לחלוטין). הבדיקה טוענת שיש לנו את המחלה. האם זה אומר שיש לנו את המחלה? לא בהכרח. בשביל לדעת מה הסיכוי (חשש) שבאמת יש לנו את המחלה, אנו צריכים להשתמש במדד חדש בשם ערך מנבא חיובי.

ערך ניבוי חיובי (positive predictive value או בקיצור PPV) הוא אחוז האנשים שבאמת חולים מתוך כלל האנשים שאובחנו כחולים על ידי הבדיקה. כדי לחשב את המדד הזה בטבלה שלנו, עלינו קודם למלא ולזהות כמה אנשים בריאים אובחנו כחולים ואז לחשב כמה סך הכל אובחנו כחולים. אז נמלא את הטבלה ונקבל:

מכאן שערך הניבוי החיובי שלנו הוא:

PPV = 9/207 =  0.043 = 4.3%

זה אומר שבגלל שלבדיקה שלנו יש סגוליות שהיא לא 100%, ובגלל שהמחלה שלנו נדירה, מתקבל שישנם המון אנשים שאובחנו כחולים למרות שהם אינם חולים. למעשה, גם אם תאובחן כחולה, הסיכוי שאתה באמת חולה הוא רק 4.3%. וכדי לדעות בוודאות, צריך להשתמש בבדיקה עם יכולת איבחון טובה יותר.

כעת, מה היה קורה אילו הבדיקה הייתה מכריזה עלינו כעל בריאים. מה הסיכוי שאנו באמת בריאים? לשם כך נחשב את יכולת הניבוי השלילי (לא שלהיות בריא זה שלילי. אבל התוצאה לגבי קיום המחלה יצאה שלילית)

ערך ניבוי שלילי (negative predictive value או בקיצור NPV) הוא אחוז האנשים שבאמת בריאים מתוך כלל האנשים שאובחנו כבריאים על ידי הבדיקה. כדי לחשב את המדד הזה בטבלה שלנו, עלינו קודם למלא ולזהות כמה אנשים חולים אובחנו כבריאים ואז לחשב כמה סך הכל אובחנו כבריאים. אז נמלא את הטבלה ונקבל:

מכאן שערך הניבוי השלילי שלנו הוא:

NPV = 792/793 =  = 0.99873 = 99.87%

זה אומר שלמרות שהסגוליות של הבדיקה שלנו היא בסך הכל 80%, עדיין – אם אובחנו כבריאים אז רוב הסיכויים הם שאנו בריאים (מעל ל- 99%). מדוע זה קורה? משום שהסיכוי שנהיה בריאים הוא שילוב של עד כמה המחלה נדירה עם עד כמה הבדיקה מצליחה לזהות אנשים חולים שהם חולים.

לצורך סיכום הדיון נוסיף עוד שני מונחים אשר משלימים את הסגוליות והרגישות:

תוצאה חיובית מדומה (false positive) – זה אחוז הבריאים שאובחנו בטעות כחולים. התוצאה הזו מעניינת את קופות החולים – כי זה אומר כמה אנשים שולחים לבדיקות נוספות (שעולות כסף), מבלי שהיה להם מחלה אמיתית. במקרה שלנו זה:

FP = 198/990 = 1-specificity = 0.2

זהו אחוז האנשים מתוך הבריאים אשר ידרשו, ללא צורך, בבדיקות המשך יקרות/פולשניות.

תוצאה שלילי מדומה (false negative) – זה אחוז החולים שאובחנו בטעות כבריאים. המספר הזה מעניין את (לדוגמא) חברות הביטוח – כי זה יכול לומר כמה אנשים צפויים לבוא ולתבוע אותם על כך שהרופא לא זיהה את המחלה שלהם בזמן. במקרה שלנו זה:

FN = 1/10 = 1-sensitivity = 0.1

זהו אחוז האנשים מתוך החולים אשר לא יגלו שהם חולים בזמן מוקדם. ועבורם המחלה תתפתח, ועלולה להתגלות רק בשלב מאוחר ומתקדם יותר (אלו האנשים שאחר כך עשויים לתבוע את מערכת הבריאות על השגיאה בזיהוי מחלתם).

חילוץ ערכים עבור בדיקת ממוגרפיה של נשים

ב-18 לאוקטובר 2011 פורסם ב- Annals of Internal Medicine

מחקר עוקבה בשם  "Comparative Effectiveness of Digital Versus Film-Screen Mammography in Community Practice in the United States" (http://annals.ba0.biz/content/155/8/493.short)

במחקר הזה הוצגו נתונים על הצלחת הבדיקה הממוגרפית לזהות את סרטן השד (טבלה 2, ראו כאן: http://annals.ba0.biz/content/155/8/493/T2.large.jpg).

הנתונים כללו את המספרים הבאים:

• עבור 10000 נבדקים
• ל – 45 היה סרטן השד
• ל- 38 הצליחו לגלות את הסרטן באמצעות ממוגרפיה
• ל – 7 לא הצליחו
• הרגישות היא 84%
• הסגוליות היא 90.4%

(קחו בחשבון שהמחקר המקורי הסתמך על מאות אלפי נשים, 329,261 אם נדייק. המספרים שאני מביא כאן הם רק מקור אחד, לא מתוקנן של המספרים הללו. יש עוד מה לדעת בתחום – אבל לשם הפשטות, בואו נראה מה אפשר לעשות עם המספרים, האמיתיים, הללו)

השתמשו בנתונים הללו כדי:

1)      לבנות טבלה של המחקר

2)      לחלץ את ה- PPV וה- NPV

מהנתונים אפשר למלא את הטבלה הבאה באופן ישיר:

מכאן שאת מספר הבריאים באמת אפשר לחלץ בקלות על ידי:

10000-45=9955

מתוך זה ידוע לנו שהסגוליות היא 90.4% לכן:

Specificity = 90.4% = 0.904 = (# of healthy women diagnosted as being healthy) / (# of healthy women)

-> (# of healthy women diagnosted as being healthy) = 0.904*9955 = 8999

כאן אפשר למלא את הטבלה ונקבל ש:

מה שאומר שיש לנו מספיק נתונים בשביל למלא את הטבלה לחלוטין ונקבל ש:

וכעת נוכל לחשב את ה PPV וה- NPV:

PPV = (# of women diagnosed as having breasy cancer) / (# of sick women diagnosed as having breasy cancer) = 38/994 = 0.0382=3.82%

NPV = (# of women diagnosed as NOT having breasy cancer) / (# of healthy women NOT diagnosed as having breasy cancer) = 8999/9006 = 0.99922= 99.922%

מסקנה:

• רק ל- 3.8% מהנשים שממוגרפיה מגלה שיש להם סרטן – אכן יש להם סרטן
• ל- 99.9% מהנשים שהממוגרפיה טוענת שהן בריאות – הן אכן בריאות

* אני מזכיר – אינני רופא, והכתוב במאמר הזה (ובבלוג הזה באופן כללי), איננו מהווה תחליף לייעוץ רפואי, או יומרה רפואית מכל סוג שהוא. אתם אחראיים על בריאותכם – תטפלו בה!

ב-14.11.2011 יתקיים ערב בן 5 הרצאות קצרות שיסקרו את נושא הסטטיסטיקה מכיוונים שונים לכבוד יום הסטטיסטיקה הבינלאומי (שכבר התקיים ב-20.10.2011).

התכנסות בשעה 20:00, ההרצאות יחלו ב-20:30. האירוע יערך בפאב גורדו (נראה שהכתובת היא הירקון 121, חוף גורדון, טיילת תל אביב)

10 ש"ח דמי השתתפות לכיסוי הוצאות לוגיסטיות.

אני אתן בערב את ההרצאה "כיצד חוקרים עכברים שחוקרים את סביבתם", הנה התקציר:

יום אחד עכבר קם בבוקר, מחליט שהוא סקרן, ומתחיל ללכת. לאן הוא הולך? מתי הוא חוזר? כמה הוא מטייל? האם הוא מתרגש? ולמה זה בכלל מעניין אותנו (כחוקרים) לדעת?
טל גלילי, הוא דוקטורנט לסטטיסטיקה באוניברסיטת תל אביב, אוהב קוד פתוח ומידע חופשי, ובלוגר במדריך לטרמפיסט בסטטיסטיקה.

כנסו לאתר הספקנים בפאב, בשביל פירוט של שאר ההרצאות שיתקיימו בערב. שאר ההרצאות יתקיימו על ידי אנשים מעניינים ומקצועיים בתחום הסטטיסטיקה, יהיה מעניין…

להתראות שם,
טל.

בכנס האחרון של useR 2011, אשר התקיים באוניברסיטת ווריק אשר באנגליה, נתתי הרצאה זריזה של כ-5 דקות על הבלוגוספירה של קהילת ה-R העולמית (למי שלא מכיר, הנה הסבר קצר על מה זה R).

לאחרונה פנה אלי קוריאני חביב בשם צ'ל-הי-לי וביקש ממני להקליט את ההרצאה הזו על מנת שהוא יוכל להקרין אותה בכנס R שמתקיים השנה (2011) בדרום קוריאה. החלטתי לעשות זאת, והעליתי את ההרצאה (באורך של כ-7 דקות, באנגלית) לאינטרנט.

ההרצאה עוברת בזריזות על:

• ההיקף בהתעניינות של הקהילה העולמית בבלוגרים שכותבים על R
• על מה כותבים בלוגרי R
• איך לעודד בלוגר שאתה מעריך לכתוב עוד
• כיצד להתחיל בלוג R בעצמך
• טיפים על איך לכתוב בלוג כזה
• עצה אחת על כיצד לפרסם את הבלוג שלך (פשוט להירשם ל- r-bloggers.com)
• שתי תחזיות קטנות לגבי העתיד של R והבלוגוספירה

(הפוסט הזה גם פורסם באנגלית בבלוג שלי על R)

מחאת האוהלים אשר החלה ברוטשילד מצליחה לסחוף עוד ועוד אזרחים, לצלילי הדממה החברתית שפקדה את מדינתנו בעשורים האחרונים.

ובהזדמנות זו, המחאה גם מצליחה לעורר דיון באופן שבו ערוצי התקשורת המרכזיים מסקרים את המחאה. מה שמוביל אותנו, תאמינו או לא, לסטטיסטיקה.
נתקלתי באינפוגרפיקה המקסימה, אשר משווה את שטח ההתייחסות שכל אחד מהעיתונים המרכזיים (ידיעות, מעריב וישראל-היום) הקדישו למחאת האוהלים בשבוע האחרון.
לחצו על התמונה לגירסה מוגדלת:

(קרדיט: לגרפיקאי ליאור צור – misquote. כל הכבוד!)

התמונה מראה את העמוד הראשי של כל אחד משלושת העיתונים לאורך השבוע, וצובעת בורוד את ההופעה של התייחסות למאבק האוהלים. לקינוח, ציטוטים נבחרים מעמוד השער מוצגים לצד התמונה בצהוב.
האם ישראל היום מתייחס פחות למחאת האוהלים מאשר עיתונים אחרים, בהחלט. האם זה מעיד על כך שמדובר ב"ביטאון של ביבי"? בשביל הפרשנות הזו צריך איש תקשורת, לא סטטיסטיקאי…

העונת נוספת: למרות נסיונות של גורמים כאלה ואחרים לצבוע את המחאה כקיטוב בין מחנות הימין והשמאל הפוליטיים (כפי שאלו מתבטאים בדעות על הסכסוך הישראלי פלסטיני), הרי שהיטיבו לכתוב לפני שמה שבאמת מדובר פה זו הכלכלה, וספציפית, האם אנו שואפים למדינה קפיטליסטית או מדינה המקדמת אג'נדה כלכלית שהיא יותר סוציאלית.

ביום רביעי האחרון נתתי הרצאה של 50 דקות בסדנת ויזואליזציה מטעם האיגוד הישראלי לסטטיסטיקה על סוגי הפעולות האפשריות ("היסודות") אשר אפשריים כאשר מבצעים אינטראקציה עם היצגים גרפיים של נתונים (או בלעז: Interactive Data Visualization). בפוסט הנוכחי בכוונתי:

1. להסביר מה זה אינטראקציה עם היצגי נתונים ולתת את המוטיבציה הסטטיסטית עבורה
2. לפרט ולהסביר את 20 היסודות לאינטראקציה עם היצגי נתונים
3. לדבר על ההזדמנויות והאתגרים שמציבים בפנינו היכולת לאינטראקציה עם היצגי נתונים

כל הדוגמאות שיוצגו בפוסט זה יושמו באמצעות התוכנה GGobi (תוכנה חופשית/קוד-פתוח). בפוסט הנוכחי אני לא אדון בתוכנות שמיישמות את העקרונות שיתוארו. אני מקווה לעשות זאת באחד הפוסטים העתידיים. לבינתיים, הנה דמו של 5 דקות על השימוש ב- GGobi (אפשר לקרוא את המשך הפוסט גם מבלי לצפות בו) :

brutally short intro to ggobi from Mat Kelcey on Vimeo.

לפני שאגש לנושא הפוסט, ברצוני להודות ליונתן רוזנבלט על הפידבק שהוא הציע בשלבים הראשונים של הכנת ההרצאה, ובעיקר להודות לפרופסור יואב בנימיני על שעות רבות של עזרה ואינספור עצות מועילות אשר גם עזרו למקד את ההרצאה וגם ליטשו אותה לכדי תוצר הרבה יותר מוצלח משהייתי מסוגל להפיק בכוחות עצמי.

מבוא: מה זה אינטראקציה עם היצגי נתונים?

נתחיל בכמה הגדרות.
היצג נתונים זה תרשים שמטרתו להציג נתונים. דוגמאות מקובלות הן תרשימי עמודה, הסטוגרמה, תרשימי עוגה, תרשימי פיזור, מפות תמתיות וכן הלאה.
היצג נתונים אינטראקטיבי – הוא תרשים שאיננו סטטי, דהיינו שניתן לבצע בו שינוי כלשהו.
אינטראקציה עם היצג נתונים – זה סוג הפעולות שהמשתמש יכול לבצע על היצג נתונים.
במהלך הכנת ההרצאה, הצלחנו (יואב ואנוכי) לאתר כעשרים יסודות המשמשים לאינטראקציות שאפשר לבצע על היצג נתונים אותם אתאר מיד. אך לפני כן אני רוצה להסביר את המוטיבציה הסטטיסטית לעבודה עם גרפים דינאמיים.

סטטיסטיקאים נוהגים לבצע שתי פעולות (משלימות) בעבודתם: ניתוח נתונים מאשש, וניתוח נתונים בלשי. מבלי להעמיק בנושא יותר מידי (כי הוא עולם ומלואו), ברצוני לסכם את שני הסוגים בקצרה:

• ניתוח נתונים מאשש (Confirmatory Data Analysis) – הוא כאשר לוקחים קובץ נתונים עם שאלה מוגדרת היטב מראש ומבצעים מבחן סטטיסטי שמטרתו לבחון את ההשערה. לדוגמא – כל המבחנים הסטטיסטיים שמלמדים בקורסי מבוא לסטטיסטיקה (מבחן Z, מבחן t, מבחני חי-בריבוע וכדומה) הם דוגמאות לניתוח נתונים מאשש. דהיינו, כזה שמתחיל בהשערת 0 ובא לבחון אותה באמצעות ביצוע חישוב על הנתונים.
• ניתוח נתונים בלשי (Exploratory data analysis) – הוא כאשר אנו באים להתבונן בקובץ נתונים מבלי שיש לנו "השערות מוקדמות" שאנו בוחנים, אלא במקום זאת נותנים לקובץ הנתונים לספר לנו את סיפורו. זה מה שאנו מבצעים כאשר אנו באים להסתכל על תרשימי היסטוגרמה/מקלות של משתנים מסויימים. פעמים רבות אנו מגיעים לתרשים מבלי שיש לנו שאלה מסויימת, אלא מתוך רצון לראות איזה התנהגות הנתונים מציגים. כמו – האם הנתונים מתפלגים עם דבשת (מיקום מרכזי) יחיד או יותר, האם ההתפלגות סימטרית והאם ההתפלגות דומה להתפלגות מוכרת (על כל אחת מהשאלות הללו אפשר לבצע מבחן השערות סטטיסטי, אך בשלב של ניתוח נתונים בלשי, איננו יודעים עדיין איזה מהמבחנים הללו נרצה לבצע).

התחום של אינטראקציה עם היצגי נתונים משוייך באופן מובהק לניתוח נתונים בלשי. ולוקה בכל הייתרונות והחסרונות של שיטה זו (אליהם לא אכנס בפוסט זה).

20 היסודות לאינטראקציה עם היצגי נתונים

את היסודות אירגנתי לפי קבוצות ותתי קבוצות (איכשהו ספרתי וזה יצא 20, למרות שהמספר הזה יכול להיות נתון למחלוקת). אני אציג כאן את כולם עם הסבר קצר ובסוף הרשימה מצורפת פרזנטציה עם צילומי מסך שמדגימים חלק מהעקרונות.

אחת המגבלות בפורמט הכתוב הוא הקושי להעביר מוטיבציה של פעולה זריזה על גרפים. אני מקווה שאת זה יספקו (גם אם באופן חלקי) הסרטונים/מצגת שאצרף בהמשך הפוסט, אשר ידגימו את העקרונות שאתאר.

• הצגת נתונים
  • נקודת מבט:
    • יחס הצירים (scaling)  -היכולת לשנות את יחס הגובה\רוחב של הגרף
    • זום (zooming) – היכולת להגדיל/להקטין חלקים של הגרף
  • מעבר בין גרפים (cycling) – היכולת להישאר באותו התרשים אבל להחליף את המשתנה אותו התרשים מציג
  • סיבוב (rotating) – היכולת לסובב את ההיצג הדו-ממדי של ענן נקודות תלת מימדי. זה כולל גם את היכולת לתת "טפיחה" לענן שימשיך להסתובב (באנימציה) גם לאחר הטפיחה.
  • טיול בהטלות שונות של משתנים ממימד גבוה (Grand tour). כאן מדובר ביכולת להתבונן בתרשים של ענן נקודות רב-ממדי אשר מוטלות על ההיצג הדו ממדי. וכמובן, היכולת לסובב את הנקודות הללו (בציר של אחד מהמשתנים שמרכיבים את הענן)
• איתור נתונים
  • זיהוי תצפית בודדת:
    • תיוג (labeling) – מסמנים נקודה בגרף ורואים איפה היא מופיעה (באיזו שורה) בקובץ הנתונים
    • איתור (locating) – מסמנים שורה בקובץ הנתונים ורואים איפה הנקודה מופיעה בגרף
  • זיהוי טווח תצפיות – הברשה (brushing) – בחירה דינמית של נתונים המשנה את תצוגתם. מדובר לרוב בריבוע אשר ניתן להעביר אותו מעל ("להבריש") ענן של נקודות. כל הנקודות הללו מקבלות (לדוגמא) צבע שונה. ובכך "הוברשו". יש כמה תכונות שניתן לשנות במברשת נתונים -
    • משך הזמן שההברשה נשארת:
      • זמני (Transient) – ההברשה נשארת רק כל עוד ריבוע המברשת נמצא מעל הנקודות.
      • תמידי (Persistent) – מרגע שהיברשנו נקודות, הם ישתנו (על ידי צבע, או דברים אחרים), גם לאחר שנסיר את המברשת מעליהם
    • השינוי: צבעים,  סוג הסימן (נקודה/מלבן/משולש . מלא/ריק/מקווקו – glyph) סוג ההברשה (צבע, או "צל". כלומר, קבוצת נקודות שנרצה להתעלם מהם או להסירם מהתרשים לחלוטין).
    • המשלים (toggle) -לקבל את הנתונים שהם המשלים לבחירה שבוצעה
    • מודלים – קבלת התוצאה של חישוב על הנתונים שנבחרו (מספר תצפיות, ממוצע, קו רגרסיה וכו').
  • קישור גרפים שונים (linking) – זהו עיקרון מאד יסודי בגרפיקה האינטראקטיבית. מדובר ביכולת להשפיע על נתונים בגרף אחד (לדוגמא, להבריש נקודות) ולראות את ההשפעה בכל שאר הגרפים (הנקודות בשאר הגרפים יוברשו גם הם).
• שינוי נתונים מוצגים
  • מחיקה (deleting) – של נתונים
  • הוספה (insert) – הוספה של נתונים חדשים
  • הזזה (moving) – של נתונים קיימים
  • הרעדה (jitter) – של נתונים. יכול להיות שימושי כאשר נתונים מסתירים האחד את השני
  • החלקה (Smoothing) – שינוי מדד ההחלקה של הגרף. טוב כדי להסתכל ולראות איזה מדד החלקה מתאים להתפלגות שלנו (לפי כללי אצבע).
  • טרנספורמציה  (Transformation) – של הנתונים או של מערכת הצירים (לוג, שורש וכדומה. טוב במקרה שרוצים להציג את הנתונים באופן שמתפלג, לדוגמא, נורמאלי)
• שליטה בהיצג הנתונים – שימו לב שישנם שני סוגים של היצגים דינמאיים של נתונים:
  • אינטראקציה – היצגים שמאפשרים למשתמש לשלוטט בגרף
  • אנימציה (animation) – היצגים שעוברים שינוי (מתוכנן מראש) אך ללא תגובה לאדם

מצגת וסרטונים להדגמת עקרונות

שקופיות מהמצגת שהוצגה בכנס:

ניתן לצפות בסרטונים על הברשה, וטיולים רב מימדיים בתוך אתר הבית של GGobi (הסרטונים לא הועלו ליוטיוב, אלא מופיעים כקטעי MOV קצרים, ולכן לא יכולתי לשלב אותם בפוסט הנוכחי)

לסיום: הזדמנויות ואתגרים בעבודה אינטראקטיבית עם היצגי נתונים

• הזדמנויות –
  • בהירות – עבודה אינטראקטיבית עם נתונים מאפשר להבין קשרים מורכבים בין נתונים שאחרת אולי לא היינו מבינים. על היכולת הזו נשענים בעיקר בדיסציפלינות בהם נתוני ההתחלה הם רב ממדיים – לדוגמא גיאוסטטיסטיקאים שחוקרים תכונות שמתרחשות על יריעה דו-ממדית או חוקרי מוח שעובדים על פרוסות של מוח כאשר כל פרוסה מציגה מדידות מסוגים שונים.
  • מספיקים יותר – אפשר להגיע ולחקור דברים שאחרת לא היינו מספיקים להגיע ולהסתכל עליהם באמצעים "ישנים" בשל מוגבלות של זמן שמוקצה לניתוח הנתונים.
  • קל להדגים דברים על הנתונים. מה שמאפשר
    • הסבר ל"לקוח" – קל יותר להעביר תוצאות סטטיסטיות מורכבות באמצעים חזותיים שיש בהם אינטראקציה. בהרחבה לזה, זה גם משפר את ה
    • עבודה עם החוקר – מה שמאפשר לבצע את התהליך הזה ביחד עם החוקר. החוקר מבין יותר בקלות את מה שהסטטיסטיקאי עושה. יכול להרגיש מעורב יותר (מה שיכול לשפר את התוצר הסופי).
• אתגרים –
  • איכות הגרף – כשמבצעים הרבה בדיקות ומשנים הרבה דברים בגרף, אז לא פעם קורה שבשביל להגיע לתוצאות אנחנו מוותרים על זה שהגרף יראה יפה. לא מקפידים על צבעים, על טקסט מתאים וכן הלאה. במצב כזה קורה שאנו מגיעים לכל מיני תוצאות מעניינות. אבל כדי להכין אותם להצגה אח"כ במאמר או מצגת, צריך לקחת את כל התגליות ולהכין את הגרפים מחדש כדי שיהיו "מקצועיים". מעבר לכך, עבור גרפים מורכבים (לדוגמא – גרפים רב מימדיים), יש לרוב התפשרות על איכות הגרף כדי לאפשר עבודה מהירה איתו. מה שאומר שבשלב שבו רוצים להעביר את הגרף הזה ללקוח, צריך לעבור ולהסתכל על גרף באיכות גבוהה יותר.
  • תיעוד (והשוואות מרובות). כלל עקרוני כשעושים סטטיסטיקה הוא שכאשר ממהרים אז לא מתעדים. במצב של חקר שכולל עבודה אינטראקטיבית עם גרף זה נהפך להיות בעיה אפילו יותר גדולה, כי זה מאד קל להגיע למצב שבו מוצאים עוד משהו ועוד משהו, אבל לא רושמים זאת בשום מקום. זו בעיה לגבי כל הדברים ה"מעניינים" שאנחנו שכחנו לרשום אבל מה שאפילו יותר גרוע מזה הוא שבסוג כזה של חקירה אנחנו גם לא רושמים את כל הדברים שבדקנו ולא מצאנו בהם כלום. למה זה בעייתי? כי הדבר הזה גורם לקושי עצום בלדעת מהו "מספר ההשערות הסטטיסטיות" שביצענו. כך שכאשר אנו מקבלים P value – זה איננו טריוויאלי לדעת איך לתקנן אותו ולהבין במדויק מהי משמעותו.
  • והערת סיום לגבי ה"כיף בעבודה עם הלקוח" – זה משהו שיכול להסיח בקלות את הדעת (מצד החוקר או מצד הסטטיסטיקאי). ובמצבים כאלה חשוב לשמור על מיקוד של מהן המטרות/שאלות העיקריות שמענייניות אותנו ואיך אנו מגיעים אליהם.

רגע, אז באיזה תוכנה להשתמש?

את העקרונות שתיארתי אפשר לראות מיושמים בתוכנות שמיועדות לעבודה סטטיסטית כמו GGobi או Mondrian (שתיהן בקוד פתוח), וגם בתוכנות בתשלום כמו JMP ואחרות. מעבר לזה, ניתן לראות שימוש בהרבה מהעקרונות הללו באפליקציות רשת מפורסמות שמאפשרות עבודה דינאמית עם נתונים. הדוגמא הכי מפורסמת לכך הוא האתר גאפמינדר של הנס רוסלינג.

לצערי הרב שתי התוכנות שיש כרגע בקוד פתוח ( GGobi ו- Mondrian), שתיהן בעיני מאד (איך ננסח זאת בעדינות) דלות. כדי להגיע לכלי שהוא באמת מעניין מבחינת תהליך עבודה שוטף, הכלי חייב (לדעתי) להיות קשור אדוקות לכלי העבודה המרכזי שבו אנו משתמשים לניתוח סטטיסטי.
במקרה שלי זה R. ובמקרה של R יקח עוד קצת זמן עד שהחבר'ה בקהילה יתכנתו כזה כלי (יש כרגע 2 נסיונות משמעותיים. הראשון הוא iPlots extreme שהוא דור המשך ל- iPlots והשני הוא איזשהו ממשק ל- Qt על ידי היוצרים של GGobi). כשיהיו לי עוד חדשות מלהיבות, אני אשמח לדווח.

יש לכם דוגמאות נוספות לאינטראקציה עם היצגים גראפיים של נתונים? שאלות או פירגון על הנושא? אתם מוזמנים לשתף אותי בהם בתגובות…

Credit: xkcd (Dilution)

אם יש לכם רגע להתרחק מהאירועים (הכנראה היסטוריים) שמתרחשים ברגעים אלו במצרים, אז אתם מוזמנים להגיע ביום שישי הקרוב (4.2.11) בשעה 10:23 ולהפגין כנגד הומיאופטיה, בניצוחה של קהילת הספקנים בישראל (לחצו כאן לפרטים מלאים על ההפגנה).

שמעתי על ההפגנה דרך הקריאה לדגל בבלוגו של יוסי לוי. אני ממליץ לכם לקרוא את מה שיש ליוסי לומר על הומיאופטיה, אך לשירותכם אתמצת חלק מהעיקר בציטוט הבא:

חולים שפונים לטיפול הומיאופתי דוחים בכך טיפול רפואי מבוסס או מועיל, או אפילו מוותרים עליו. [...]

צריך לעשות משהו, ואני וחבריי לקהילה הספקנית נעשה משהו.

אנו נצא למחות נגד הלגיטימציה שנותנות קופות החולים ורשתות הפארם לטיפולים ההומאופתיים חסרי הערך, ונקרא לציבור הרחב לבחון בשיקול דעת את התועלת והנזק הפוטנציאליים הטמונים בטיפול הומיאופתי לפני ההחלטה לפנות לטיפול כזה.

לא נהיה לבד. יחד עימנו ימחו אלפי אנשים בעשרות מדינות, במסגרת אירוע 10:23, אירוע מחאה גלובלי נגד ההומיאופתיה ונזקיה. אני גאה להיות חלק מהמחאה הזו. אשמח אם תצטרפו אליי,ביום שישי הקרוב, ה-4.2.2011, בשעה 10:23, בכיכר דיזנגוף בתל-אביב.

בשבילי, התגלית שישנם "ספקנים" שכמותי בישראל היא מרתקת, אז בהחלט ייתכן שאקפוץ לבקר שם. מה איתכם?