למה כדאי שכולכם תרפרפו על המאמר שכתבתי? (כלומר – למה כדאי שתפיצו את המאמר הזה לחבריכם)
כי כל פעם שאתם ניגשים לבדיקה רפואית שמחליטה האם אתם "בריאים" או "חולים" – כדאי שתדעו לשאול מהו הערך המנבא החיובי ומהו הערך המנבא השלילי. מדוע? כדי שתבינו, בהינתן שהובחנתם כבריאים/חולים – מה הסיכוי שההבחנה שקיבלתם באמת מתארת את המציאות.
ביום שבו תצטרכו להבין את זה (וזה יגיע), כדאי שתזכרו את המאמר הזה – ותקראו אותו טוב (בניגוד לריפרוף הראשוני שבו אתם בטח תקראו אותו כעת).

בפוסט שלפניכם אני מתחיל מלהסביר (לאט לאט) מה זה "רגישות", "סגוליות" ואז עובר להסביר מה זה "ערך מנבא חיובי ושלילי". אני מראה כיצד השתמשתי בכל המונחים הללו כדי לחלץ את התשובה לשאלה: "בהינתן שאישה עברה ממוגרפיה והובחנה כחולת סרטן השד – מהי ההסתברות שבאמת יש לה סרטן השד?" (התשובה מופיעה בסוף הפוסט)

ונתחיל….

רגישות סגוליות וכו'

נאמר שישנה מחלה כלשהי שאנו רוצים לזהות באמצעות בדיקה חדשה.

ניקח קבוצה של אנשים מהאוכלוסייה, ובאמצעות בדיקה שתמיד צודקת, אנו יודעים באופן וודאי של- 10 מהם יש את המחלה הזו. כך תראה הטבלה:

כעת, היינו רוצים להשוות כמה שיטות חדשות לבדוק האם למישהו יש את המחלה או לא. כדי להעריך עד כמה השיטות הללו טובות, אנחנו נלמד שני מדדים לעשות זאת: רגישות וסגוליות.

רגישות (sensitivity) מודדת מהו אחוז האנשים החולים שהצלחנו לזהות כחולים.

כך לדוגמא, נניח שיש לנו רופא פאסימי אשר רוצה שלא לפספס אף אדם חולה. השיטה שלו היא שכל אדם שהוא בודק מיד מוכרז כחולה. במצב כזה, הרגישות של הרופא הפאסימי תהיה 100%. כי הוא בהכרח יצליח לזהות את כל החולים כחולים. (טיפ לאיך לזכור זאת: היא לחשוב על אמא שיש לה רגישות מיוחדת למתי אנחנו חולים)

עם זאת, השיטה הזו איננה בהכרח מוצלחת. מדוע לא? כי הרופא הפאסימי שלנו גם יאבחן בטעות אנשים בריאים בתור אנשים חולים. עד כמה זה חמור? תלוי באחוז החולים מול הבריאים באוכלוסייה.  בואו נאמר שיש לנו מחלה נדירה כלשהי. כזו שפוגעת ב-1 מכל 100 איש. ושהמדגם שלקחנו מהאוכלוסייה היה של 1000 איש. אז הטבלה עכשיו תראה כך:

ויצא שבמקביל לזיהוי נכון של 10 מתוך 10 חולים, הרופא הפאסימי שלנו גם זיהה בשוגג 990 אנשים כחולים, למרות שהם בריאים. מכאן אני למדים שיש צורך במדד משלים למדד הרגישות כדי להבין את ההצלחה של כלי המדידה שלנו – ואת זה אנו מכנים סגוליות.

סגוליות (specificity או "ספציפיות") מודדת מהו אחוז האנשים הבריאים שהצלחנו לזהות כבריאים.

כך שבמקרה של הרופא הפאסימי, הוא לא הצליח לזהות אף איש בריא מבין האנשים הבריאים, ולכן הסגוליות שלו היא 0%. לעומתו, אם היינו פונים לרופא אופטימי (כזה שמכריז על כל אדם כבריא), אזי הסגוליות שלו תהיה מאד טובה – 100%. אבל מצד שני, הרגישות שלו תהיה 0% (שכן הוא לעולם לא יצליח לזהות אף אדם חולה כחולה).

(טיפ לאיך לזכור זאת: אפשר לחשוב על חבר טוב שיש לו את הסגולה תמיד לחפש את מה שחיובי וטוב ובריא אצל אנשים)

כעת אחרי שלמדנו על רגישות וסגוליות, נוסיף עוד נתון בטבלה. נאמר שהבדיקה החדשה שלנו מצליחה לזהות תשעה מתוך עשרת החולים, אז:

מה נאמר שהרגישות של הבדיקה שלנו?

Sensitivity = 9/10 = 0.9 =90%

ומהי הסגוליות של הבדיקה שלנו? מהטבלה הנוכחית אי אפשר לדעת. נאמר שהבדיקה מצליחה לזהות נכון 792 מתוך האנשים הבריאים, אז נקבל ש:

Specificity = 792/990 = 0.8 = 80%

ונוכל לעדכן את הטבלה כך:

אז על הבדיקה החדשה שלנו אנו יודעים שהיא מצליחה לזהות נכון 90% מהאנשים החולים, ו-80% מהאנשים הבריאים. האם זו בדיקה טובה או לא? באופן טיבעי, היינו רוצים בדיקה שתצליח לזהות 100% מהחולים ו- 100% מהבריאים. אבל לפעמים בדיקות כאלה הן פולשניות, או יקרות. ובמצבים כאלה היינו מעדיפים להסתפק בבדיקה פשוטה/זולה/בטוחה יותר – אפילו שאחוזי הדיוק שלה פחות טובים מהבדיקה המושלמת (את הבדיקה המושלמת, זו שמגלה את ה"אמת", או הכי קרוב לאמת שאנו יודעים עליה, אנו מכנים גם בתור "סטנדרט הזהב" או gold standard).

החישוב של רגישות וסגוליות מאפשר לנו להשוות בין שיטות שונות ולזהות שיטות שהן בהכרח יותר טובות (כאלה שעבורן מתקבל שהן הרגישות והן הסגוליות שלהן יותר גבוהות), או שיטות שמציאות אלטרנטיבות (נאמר, יותר רגישות, אבל פחות סגוליות – או ההיפך). ההחלטה מה עדיף בבדיקה, רגישות או סגוליות גבוהים, תלויה בהקשר. ויש מצבים שבהם הבחירה בין השניים אינה נתונה להחלטתנו.

כעת נאמר שאנחנו אחד מה-1000 אנשים הללו ושאנו מגיעים לרופא והוא משתמש בבדיקה שמתוארת בטבלה כדי לבדוק אותנו עבור המחלה הזו (ההחלטה לבצע את הבדיקה היא ללא סיבה מיוחדת, אקראית לחלוטין). הבדיקה טוענת שיש לנו את המחלה. האם זה אומר שיש לנו את המחלה? לא בהכרח. בשביל לדעת מה הסיכוי (חשש) שבאמת יש לנו את המחלה, אנו צריכים להשתמש במדד חדש בשם ערך מנבא חיובי.

ערך ניבוי חיובי (positive predictive value או בקיצור PPV) הוא אחוז האנשים שבאמת חולים מתוך כלל האנשים שאובחנו כחולים על ידי הבדיקה. כדי לחשב את המדד הזה בטבלה שלנו, עלינו קודם למלא ולזהות כמה אנשים בריאים אובחנו כחולים ואז לחשב כמה סך הכל אובחנו כחולים. אז נמלא את הטבלה ונקבל:

מכאן שערך הניבוי החיובי שלנו הוא:

PPV = 9/207 =  0.043 = 4.3%

זה אומר שבגלל שלבדיקה שלנו יש סגוליות שהיא לא 100%, ובגלל שהמחלה שלנו נדירה, מתקבל שישנם המון אנשים שאובחנו כחולים למרות שהם אינם חולים. למעשה, גם אם תאובחן כחולה, הסיכוי שאתה באמת חולה הוא רק 4.3%. וכדי לדעות בוודאות, צריך להשתמש בבדיקה עם יכולת איבחון טובה יותר.

כעת, מה היה קורה אילו הבדיקה הייתה מכריזה עלינו כעל בריאים. מה הסיכוי שאנו באמת בריאים? לשם כך נחשב את יכולת הניבוי השלילי (לא שלהיות בריא זה שלילי. אבל התוצאה לגבי קיום המחלה יצאה שלילית)

ערך ניבוי שלילי (negative predictive value או בקיצור NPV) הוא אחוז האנשים שבאמת בריאים מתוך כלל האנשים שאובחנו כבריאים על ידי הבדיקה. כדי לחשב את המדד הזה בטבלה שלנו, עלינו קודם למלא ולזהות כמה אנשים חולים אובחנו כבריאים ואז לחשב כמה סך הכל אובחנו כבריאים. אז נמלא את הטבלה ונקבל:

מכאן שערך הניבוי השלילי שלנו הוא:

NPV = 792/793 =  = 0.99873 = 99.87%

זה אומר שלמרות שהסגוליות של הבדיקה שלנו היא בסך הכל 80%, עדיין – אם אובחנו כבריאים אז רוב הסיכויים הם שאנו בריאים (מעל ל- 99%). מדוע זה קורה? משום שהסיכוי שנהיה בריאים הוא שילוב של עד כמה המחלה נדירה עם עד כמה הבדיקה מצליחה לזהות אנשים חולים שהם חולים.

לצורך סיכום הדיון נוסיף עוד שני מונחים אשר משלימים את הסגוליות והרגישות:

תוצאה חיובית מדומה (false positive) – זה אחוז הבריאים שאובחנו בטעות כחולים. התוצאה הזו מעניינת את קופות החולים – כי זה אומר כמה אנשים שולחים לבדיקות נוספות (שעולות כסף), מבלי שהיה להם מחלה אמיתית. במקרה שלנו זה:

FP = 198/990 = 1-specificity = 0.2

זהו אחוז האנשים מתוך הבריאים אשר ידרשו, ללא צורך, בבדיקות המשך יקרות/פולשניות.

תוצאה שלילי מדומה (false negative) – זה אחוז החולים שאובחנו בטעות כבריאים. המספר הזה מעניין את (לדוגמא) חברות הביטוח – כי זה יכול לומר כמה אנשים צפויים לבוא ולתבוע אותם על כך שהרופא לא זיהה את המחלה שלהם בזמן. במקרה שלנו זה:

FN = 1/10 = 1-sensitivity = 0.1

זהו אחוז האנשים מתוך החולים אשר לא יגלו שהם חולים בזמן מוקדם. ועבורם המחלה תתפתח, ועלולה להתגלות רק בשלב מאוחר ומתקדם יותר (אלו האנשים שאחר כך עשויים לתבוע את מערכת הבריאות על השגיאה בזיהוי מחלתם).

חילוץ ערכים עבור בדיקת ממוגרפיה של נשים

ב-18 לאוקטובר 2011 פורסם ב- Annals of Internal Medicine

מחקר עוקבה בשם  "Comparative Effectiveness of Digital Versus Film-Screen Mammography in Community Practice in the United States" (http://annals.ba0.biz/content/155/8/493.short)

במחקר הזה הוצגו נתונים על הצלחת הבדיקה הממוגרפית לזהות את סרטן השד (טבלה 2, ראו כאן: http://annals.ba0.biz/content/155/8/493/T2.large.jpg).

הנתונים כללו את המספרים הבאים:

• עבור 10000 נבדקים
• ל – 45 היה סרטן השד
• ל- 38 הצליחו לגלות את הסרטן באמצעות ממוגרפיה
• ל – 7 לא הצליחו
• הרגישות היא 84%
• הסגוליות היא 90.4%

(קחו בחשבון שהמחקר המקורי הסתמך על מאות אלפי נשים, 329,261 אם נדייק. המספרים שאני מביא כאן הם רק מקור אחד, לא מתוקנן של המספרים הללו. יש עוד מה לדעת בתחום – אבל לשם הפשטות, בואו נראה מה אפשר לעשות עם המספרים, האמיתיים, הללו)

השתמשו בנתונים הללו כדי:

1)      לבנות טבלה של המחקר

2)      לחלץ את ה- PPV וה- NPV

מהנתונים אפשר למלא את הטבלה הבאה באופן ישיר:

מכאן שאת מספר הבריאים באמת אפשר לחלץ בקלות על ידי:

10000-45=9955

מתוך זה ידוע לנו שהסגוליות היא 90.4% לכן:

Specificity = 90.4% = 0.904 = (# of healthy women diagnosted as being healthy) / (# of healthy women)

-> (# of healthy women diagnosted as being healthy) = 0.904*9955 = 8999

כאן אפשר למלא את הטבלה ונקבל ש:

מה שאומר שיש לנו מספיק נתונים בשביל למלא את הטבלה לחלוטין ונקבל ש:

וכעת נוכל לחשב את ה PPV וה- NPV:

PPV = (# of women diagnosed as having breasy cancer) / (# of sick women diagnosed as having breasy cancer) = 38/994 = 0.0382=3.82%

NPV = (# of women diagnosed as NOT having breasy cancer) / (# of healthy women NOT diagnosed as having breasy cancer) = 8999/9006 = 0.99922= 99.922%

מסקנה:

• רק ל- 3.8% מהנשים שממוגרפיה מגלה שיש להם סרטן – אכן יש להם סרטן
• ל- 99.9% מהנשים שהממוגרפיה טוענת שהן בריאות – הן אכן בריאות

* אני מזכיר – אינני רופא, והכתוב במאמר הזה (ובבלוג הזה באופן כללי), איננו מהווה תחליף לייעוץ רפואי, או יומרה רפואית מכל סוג שהוא. אתם אחראיים על בריאותכם – תטפלו בה!

ב-14.11.2011 יתקיים ערב בן 5 הרצאות קצרות שיסקרו את נושא הסטטיסטיקה מכיוונים שונים לכבוד יום הסטטיסטיקה הבינלאומי (שכבר התקיים ב-20.10.2011).

התכנסות בשעה 20:00, ההרצאות יחלו ב-20:30. האירוע יערך בפאב גורדו (נראה שהכתובת היא הירקון 121, חוף גורדון, טיילת תל אביב)

10 ש"ח דמי השתתפות לכיסוי הוצאות לוגיסטיות.

אני אתן בערב את ההרצאה "כיצד חוקרים עכברים שחוקרים את סביבתם", הנה התקציר:

יום אחד עכבר קם בבוקר, מחליט שהוא סקרן, ומתחיל ללכת. לאן הוא הולך? מתי הוא חוזר? כמה הוא מטייל? האם הוא מתרגש? ולמה זה בכלל מעניין אותנו (כחוקרים) לדעת?
טל גלילי, הוא דוקטורנט לסטטיסטיקה באוניברסיטת תל אביב, אוהב קוד פתוח ומידע חופשי, ובלוגר במדריך לטרמפיסט בסטטיסטיקה.

כנסו לאתר הספקנים בפאב, בשביל פירוט של שאר ההרצאות שיתקיימו בערב. שאר ההרצאות יתקיימו על ידי אנשים מעניינים ומקצועיים בתחום הסטטיסטיקה, יהיה מעניין…

להתראות שם,
טל.

בכנס האחרון של useR 2011, אשר התקיים באוניברסיטת ווריק אשר באנגליה, נתתי הרצאה זריזה של כ-5 דקות על הבלוגוספירה של קהילת ה-R העולמית (למי שלא מכיר, הנה הסבר קצר על מה זה R).

לאחרונה פנה אלי קוריאני חביב בשם צ'ל-הי-לי וביקש ממני להקליט את ההרצאה הזו על מנת שהוא יוכל להקרין אותה בכנס R שמתקיים השנה (2011) בדרום קוריאה. החלטתי לעשות זאת, והעליתי את ההרצאה (באורך של כ-7 דקות, באנגלית) לאינטרנט.

ההרצאה עוברת בזריזות על:

• ההיקף בהתעניינות של הקהילה העולמית בבלוגרים שכותבים על R
• על מה כותבים בלוגרי R
• איך לעודד בלוגר שאתה מעריך לכתוב עוד
• כיצד להתחיל בלוג R בעצמך
• טיפים על איך לכתוב בלוג כזה
• עצה אחת על כיצד לפרסם את הבלוג שלך (פשוט להירשם ל- r-bloggers.com)
• שתי תחזיות קטנות לגבי העתיד של R והבלוגוספירה

(הפוסט הזה גם פורסם באנגלית בבלוג שלי על R)

מחאת האוהלים אשר החלה ברוטשילד מצליחה לסחוף עוד ועוד אזרחים, לצלילי הדממה החברתית שפקדה את מדינתנו בעשורים האחרונים.

ובהזדמנות זו, המחאה גם מצליחה לעורר דיון באופן שבו ערוצי התקשורת המרכזיים מסקרים את המחאה. מה שמוביל אותנו, תאמינו או לא, לסטטיסטיקה.
נתקלתי באינפוגרפיקה המקסימה, אשר משווה את שטח ההתייחסות שכל אחד מהעיתונים המרכזיים (ידיעות, מעריב וישראל-היום) הקדישו למחאת האוהלים בשבוע האחרון.
לחצו על התמונה לגירסה מוגדלת:

(קרדיט: לגרפיקאי ליאור צור – misquote. כל הכבוד!)

התמונה מראה את העמוד הראשי של כל אחד משלושת העיתונים לאורך השבוע, וצובעת בורוד את ההופעה של התייחסות למאבק האוהלים. לקינוח, ציטוטים נבחרים מעמוד השער מוצגים לצד התמונה בצהוב.
האם ישראל היום מתייחס פחות למחאת האוהלים מאשר עיתונים אחרים, בהחלט. האם זה מעיד על כך שמדובר ב"ביטאון של ביבי"? בשביל הפרשנות הזו צריך איש תקשורת, לא סטטיסטיקאי…

העונת נוספת: למרות נסיונות של גורמים כאלה ואחרים לצבוע את המחאה כקיטוב בין מחנות הימין והשמאל הפוליטיים (כפי שאלו מתבטאים בדעות על הסכסוך הישראלי פלסטיני), הרי שהיטיבו לכתוב לפני שמה שבאמת מדובר פה זו הכלכלה, וספציפית, האם אנו שואפים למדינה קפיטליסטית או מדינה המקדמת אג'נדה כלכלית שהיא יותר סוציאלית.

ביום רביעי האחרון נתתי הרצאה של 50 דקות בסדנת ויזואליזציה מטעם האיגוד הישראלי לסטטיסטיקה על סוגי הפעולות האפשריות ("היסודות") אשר אפשריים כאשר מבצעים אינטראקציה עם היצגים גרפיים של נתונים (או בלעז: Interactive Data Visualization). בפוסט הנוכחי בכוונתי:

1. להסביר מה זה אינטראקציה עם היצגי נתונים ולתת את המוטיבציה הסטטיסטית עבורה
2. לפרט ולהסביר את 20 היסודות לאינטראקציה עם היצגי נתונים
3. לדבר על ההזדמנויות והאתגרים שמציבים בפנינו היכולת לאינטראקציה עם היצגי נתונים

כל הדוגמאות שיוצגו בפוסט זה יושמו באמצעות התוכנה GGobi (תוכנה חופשית/קוד-פתוח). בפוסט הנוכחי אני לא אדון בתוכנות שמיישמות את העקרונות שיתוארו. אני מקווה לעשות זאת באחד הפוסטים העתידיים. לבינתיים, הנה דמו של 5 דקות על השימוש ב- GGobi (אפשר לקרוא את המשך הפוסט גם מבלי לצפות בו) :

brutally short intro to ggobi from Mat Kelcey on Vimeo.

לפני שאגש לנושא הפוסט, ברצוני להודות ליונתן רוזנבלט על הפידבק שהוא הציע בשלבים הראשונים של הכנת ההרצאה, ובעיקר להודות לפרופסור יואב בנימיני על שעות רבות של עזרה ואינספור עצות מועילות אשר גם עזרו למקד את ההרצאה וגם ליטשו אותה לכדי תוצר הרבה יותר מוצלח משהייתי מסוגל להפיק בכוחות עצמי.

מבוא: מה זה אינטראקציה עם היצגי נתונים?

נתחיל בכמה הגדרות.
היצג נתונים זה תרשים שמטרתו להציג נתונים. דוגמאות מקובלות הן תרשימי עמודה, הסטוגרמה, תרשימי עוגה, תרשימי פיזור, מפות תמתיות וכן הלאה.
היצג נתונים אינטראקטיבי – הוא תרשים שאיננו סטטי, דהיינו שניתן לבצע בו שינוי כלשהו.
אינטראקציה עם היצג נתונים – זה סוג הפעולות שהמשתמש יכול לבצע על היצג נתונים.
במהלך הכנת ההרצאה, הצלחנו (יואב ואנוכי) לאתר כעשרים יסודות המשמשים לאינטראקציות שאפשר לבצע על היצג נתונים אותם אתאר מיד. אך לפני כן אני רוצה להסביר את המוטיבציה הסטטיסטית לעבודה עם גרפים דינאמיים.

סטטיסטיקאים נוהגים לבצע שתי פעולות (משלימות) בעבודתם: ניתוח נתונים מאשש, וניתוח נתונים בלשי. מבלי להעמיק בנושא יותר מידי (כי הוא עולם ומלואו), ברצוני לסכם את שני הסוגים בקצרה:

• ניתוח נתונים מאשש (Confirmatory Data Analysis) – הוא כאשר לוקחים קובץ נתונים עם שאלה מוגדרת היטב מראש ומבצעים מבחן סטטיסטי שמטרתו לבחון את ההשערה. לדוגמא – כל המבחנים הסטטיסטיים שמלמדים בקורסי מבוא לסטטיסטיקה (מבחן Z, מבחן t, מבחני חי-בריבוע וכדומה) הם דוגמאות לניתוח נתונים מאשש. דהיינו, כזה שמתחיל בהשערת 0 ובא לבחון אותה באמצעות ביצוע חישוב על הנתונים.
• ניתוח נתונים בלשי (Exploratory data analysis) – הוא כאשר אנו באים להתבונן בקובץ נתונים מבלי שיש לנו "השערות מוקדמות" שאנו בוחנים, אלא במקום זאת נותנים לקובץ הנתונים לספר לנו את סיפורו. זה מה שאנו מבצעים כאשר אנו באים להסתכל על תרשימי היסטוגרמה/מקלות של משתנים מסויימים. פעמים רבות אנו מגיעים לתרשים מבלי שיש לנו שאלה מסויימת, אלא מתוך רצון לראות איזה התנהגות הנתונים מציגים. כמו – האם הנתונים מתפלגים עם דבשת (מיקום מרכזי) יחיד או יותר, האם ההתפלגות סימטרית והאם ההתפלגות דומה להתפלגות מוכרת (על כל אחת מהשאלות הללו אפשר לבצע מבחן השערות סטטיסטי, אך בשלב של ניתוח נתונים בלשי, איננו יודעים עדיין איזה מהמבחנים הללו נרצה לבצע).

התחום של אינטראקציה עם היצגי נתונים משוייך באופן מובהק לניתוח נתונים בלשי. ולוקה בכל הייתרונות והחסרונות של שיטה זו (אליהם לא אכנס בפוסט זה).

20 היסודות לאינטראקציה עם היצגי נתונים

את היסודות אירגנתי לפי קבוצות ותתי קבוצות (איכשהו ספרתי וזה יצא 20, למרות שהמספר הזה יכול להיות נתון למחלוקת). אני אציג כאן את כולם עם הסבר קצר ובסוף הרשימה מצורפת פרזנטציה עם צילומי מסך שמדגימים חלק מהעקרונות.

אחת המגבלות בפורמט הכתוב הוא הקושי להעביר מוטיבציה של פעולה זריזה על גרפים. אני מקווה שאת זה יספקו (גם אם באופן חלקי) הסרטונים/מצגת שאצרף בהמשך הפוסט, אשר ידגימו את העקרונות שאתאר.

• הצגת נתונים
  • נקודת מבט:
    • יחס הצירים (scaling)  -היכולת לשנות את יחס הגובה\רוחב של הגרף
    • זום (zooming) – היכולת להגדיל/להקטין חלקים של הגרף
  • מעבר בין גרפים (cycling) – היכולת להישאר באותו התרשים אבל להחליף את המשתנה אותו התרשים מציג
  • סיבוב (rotating) – היכולת לסובב את ההיצג הדו-ממדי של ענן נקודות תלת מימדי. זה כולל גם את היכולת לתת "טפיחה" לענן שימשיך להסתובב (באנימציה) גם לאחר הטפיחה.
  • טיול בהטלות שונות של משתנים ממימד גבוה (Grand tour). כאן מדובר ביכולת להתבונן בתרשים של ענן נקודות רב-ממדי אשר מוטלות על ההיצג הדו ממדי. וכמובן, היכולת לסובב את הנקודות הללו (בציר של אחד מהמשתנים שמרכיבים את הענן)
• איתור נתונים
  • זיהוי תצפית בודדת:
    • תיוג (labeling) – מסמנים נקודה בגרף ורואים איפה היא מופיעה (באיזו שורה) בקובץ הנתונים
    • איתור (locating) – מסמנים שורה בקובץ הנתונים ורואים איפה הנקודה מופיעה בגרף
  • זיהוי טווח תצפיות – הברשה (brushing) – בחירה דינמית של נתונים המשנה את תצוגתם. מדובר לרוב בריבוע אשר ניתן להעביר אותו מעל ("להבריש") ענן של נקודות. כל הנקודות הללו מקבלות (לדוגמא) צבע שונה. ובכך "הוברשו". יש כמה תכונות שניתן לשנות במברשת נתונים -
    • משך הזמן שההברשה נשארת:
      • זמני (Transient) – ההברשה נשארת רק כל עוד ריבוע המברשת נמצא מעל הנקודות.
      • תמידי (Persistent) – מרגע שהיברשנו נקודות, הם ישתנו (על ידי צבע, או דברים אחרים), גם לאחר שנסיר את המברשת מעליהם
    • השינוי: צבעים,  סוג הסימן (נקודה/מלבן/משולש . מלא/ריק/מקווקו – glyph) סוג ההברשה (צבע, או "צל". כלומר, קבוצת נקודות שנרצה להתעלם מהם או להסירם מהתרשים לחלוטין).
    • המשלים (toggle) -לקבל את הנתונים שהם המשלים לבחירה שבוצעה
    • מודלים – קבלת התוצאה של חישוב על הנתונים שנבחרו (מספר תצפיות, ממוצע, קו רגרסיה וכו').
  • קישור גרפים שונים (linking) – זהו עיקרון מאד יסודי בגרפיקה האינטראקטיבית. מדובר ביכולת להשפיע על נתונים בגרף אחד (לדוגמא, להבריש נקודות) ולראות את ההשפעה בכל שאר הגרפים (הנקודות בשאר הגרפים יוברשו גם הם).
• שינוי נתונים מוצגים
  • מחיקה (deleting) – של נתונים
  • הוספה (insert) – הוספה של נתונים חדשים
  • הזזה (moving) – של נתונים קיימים
  • הרעדה (jitter) – של נתונים. יכול להיות שימושי כאשר נתונים מסתירים האחד את השני
  • החלקה (Smoothing) – שינוי מדד ההחלקה של הגרף. טוב כדי להסתכל ולראות איזה מדד החלקה מתאים להתפלגות שלנו (לפי כללי אצבע).
  • טרנספורמציה  (Transformation) – של הנתונים או של מערכת הצירים (לוג, שורש וכדומה. טוב במקרה שרוצים להציג את הנתונים באופן שמתפלג, לדוגמא, נורמאלי)
• שליטה בהיצג הנתונים – שימו לב שישנם שני סוגים של היצגים דינמאיים של נתונים:
  • אינטראקציה – היצגים שמאפשרים למשתמש לשלוטט בגרף
  • אנימציה (animation) – היצגים שעוברים שינוי (מתוכנן מראש) אך ללא תגובה לאדם

מצגת וסרטונים להדגמת עקרונות

שקופיות מהמצגת שהוצגה בכנס:

ניתן לצפות בסרטונים על הברשה, וטיולים רב מימדיים בתוך אתר הבית של GGobi (הסרטונים לא הועלו ליוטיוב, אלא מופיעים כקטעי MOV קצרים, ולכן לא יכולתי לשלב אותם בפוסט הנוכחי)

לסיום: הזדמנויות ואתגרים בעבודה אינטראקטיבית עם היצגי נתונים

• הזדמנויות –
  • בהירות – עבודה אינטראקטיבית עם נתונים מאפשר להבין קשרים מורכבים בין נתונים שאחרת אולי לא היינו מבינים. על היכולת הזו נשענים בעיקר בדיסציפלינות בהם נתוני ההתחלה הם רב ממדיים – לדוגמא גיאוסטטיסטיקאים שחוקרים תכונות שמתרחשות על יריעה דו-ממדית או חוקרי מוח שעובדים על פרוסות של מוח כאשר כל פרוסה מציגה מדידות מסוגים שונים.
  • מספיקים יותר – אפשר להגיע ולחקור דברים שאחרת לא היינו מספיקים להגיע ולהסתכל עליהם באמצעים "ישנים" בשל מוגבלות של זמן שמוקצה לניתוח הנתונים.
  • קל להדגים דברים על הנתונים. מה שמאפשר
    • הסבר ל"לקוח" – קל יותר להעביר תוצאות סטטיסטיות מורכבות באמצעים חזותיים שיש בהם אינטראקציה. בהרחבה לזה, זה גם משפר את ה
    • עבודה עם החוקר – מה שמאפשר לבצע את התהליך הזה ביחד עם החוקר. החוקר מבין יותר בקלות את מה שהסטטיסטיקאי עושה. יכול להרגיש מעורב יותר (מה שיכול לשפר את התוצר הסופי).
• אתגרים –
  • איכות הגרף – כשמבצעים הרבה בדיקות ומשנים הרבה דברים בגרף, אז לא פעם קורה שבשביל להגיע לתוצאות אנחנו מוותרים על זה שהגרף יראה יפה. לא מקפידים על צבעים, על טקסט מתאים וכן הלאה. במצב כזה קורה שאנו מגיעים לכל מיני תוצאות מעניינות. אבל כדי להכין אותם להצגה אח"כ במאמר או מצגת, צריך לקחת את כל התגליות ולהכין את הגרפים מחדש כדי שיהיו "מקצועיים". מעבר לכך, עבור גרפים מורכבים (לדוגמא – גרפים רב מימדיים), יש לרוב התפשרות על איכות הגרף כדי לאפשר עבודה מהירה איתו. מה שאומר שבשלב שבו רוצים להעביר את הגרף הזה ללקוח, צריך לעבור ולהסתכל על גרף באיכות גבוהה יותר.
  • תיעוד (והשוואות מרובות). כלל עקרוני כשעושים סטטיסטיקה הוא שכאשר ממהרים אז לא מתעדים. במצב של חקר שכולל עבודה אינטראקטיבית עם גרף זה נהפך להיות בעיה אפילו יותר גדולה, כי זה מאד קל להגיע למצב שבו מוצאים עוד משהו ועוד משהו, אבל לא רושמים זאת בשום מקום. זו בעיה לגבי כל הדברים ה"מעניינים" שאנחנו שכחנו לרשום אבל מה שאפילו יותר גרוע מזה הוא שבסוג כזה של חקירה אנחנו גם לא רושמים את כל הדברים שבדקנו ולא מצאנו בהם כלום. למה זה בעייתי? כי הדבר הזה גורם לקושי עצום בלדעת מהו "מספר ההשערות הסטטיסטיות" שביצענו. כך שכאשר אנו מקבלים P value – זה איננו טריוויאלי לדעת איך לתקנן אותו ולהבין במדויק מהי משמעותו.
  • והערת סיום לגבי ה"כיף בעבודה עם הלקוח" – זה משהו שיכול להסיח בקלות את הדעת (מצד החוקר או מצד הסטטיסטיקאי). ובמצבים כאלה חשוב לשמור על מיקוד של מהן המטרות/שאלות העיקריות שמענייניות אותנו ואיך אנו מגיעים אליהם.

רגע, אז באיזה תוכנה להשתמש?

את העקרונות שתיארתי אפשר לראות מיושמים בתוכנות שמיועדות לעבודה סטטיסטית כמו GGobi או Mondrian (שתיהן בקוד פתוח), וגם בתוכנות בתשלום כמו JMP ואחרות. מעבר לזה, ניתן לראות שימוש בהרבה מהעקרונות הללו באפליקציות רשת מפורסמות שמאפשרות עבודה דינאמית עם נתונים. הדוגמא הכי מפורסמת לכך הוא האתר גאפמינדר של הנס רוסלינג.

לצערי הרב שתי התוכנות שיש כרגע בקוד פתוח ( GGobi ו- Mondrian), שתיהן בעיני מאד (איך ננסח זאת בעדינות) דלות. כדי להגיע לכלי שהוא באמת מעניין מבחינת תהליך עבודה שוטף, הכלי חייב (לדעתי) להיות קשור אדוקות לכלי העבודה המרכזי שבו אנו משתמשים לניתוח סטטיסטי.
במקרה שלי זה R. ובמקרה של R יקח עוד קצת זמן עד שהחבר'ה בקהילה יתכנתו כזה כלי (יש כרגע 2 נסיונות משמעותיים. הראשון הוא iPlots extreme שהוא דור המשך ל- iPlots והשני הוא איזשהו ממשק ל- Qt על ידי היוצרים של GGobi). כשיהיו לי עוד חדשות מלהיבות, אני אשמח לדווח.

יש לכם דוגמאות נוספות לאינטראקציה עם היצגים גראפיים של נתונים? שאלות או פירגון על הנושא? אתם מוזמנים לשתף אותי בהם בתגובות…

Credit: xkcd (Dilution)

אם יש לכם רגע להתרחק מהאירועים (הכנראה היסטוריים) שמתרחשים ברגעים אלו במצרים, אז אתם מוזמנים להגיע ביום שישי הקרוב (4.2.11) בשעה 10:23 ולהפגין כנגד הומיאופטיה, בניצוחה של קהילת הספקנים בישראל (לחצו כאן לפרטים מלאים על ההפגנה).

שמעתי על ההפגנה דרך הקריאה לדגל בבלוגו של יוסי לוי. אני ממליץ לכם לקרוא את מה שיש ליוסי לומר על הומיאופטיה, אך לשירותכם אתמצת חלק מהעיקר בציטוט הבא:

חולים שפונים לטיפול הומיאופתי דוחים בכך טיפול רפואי מבוסס או מועיל, או אפילו מוותרים עליו. [...]

צריך לעשות משהו, ואני וחבריי לקהילה הספקנית נעשה משהו.

אנו נצא למחות נגד הלגיטימציה שנותנות קופות החולים ורשתות הפארם לטיפולים ההומאופתיים חסרי הערך, ונקרא לציבור הרחב לבחון בשיקול דעת את התועלת והנזק הפוטנציאליים הטמונים בטיפול הומיאופתי לפני ההחלטה לפנות לטיפול כזה.

לא נהיה לבד. יחד עימנו ימחו אלפי אנשים בעשרות מדינות, במסגרת אירוע 10:23, אירוע מחאה גלובלי נגד ההומיאופתיה ונזקיה. אני גאה להיות חלק מהמחאה הזו. אשמח אם תצטרפו אליי,ביום שישי הקרוב, ה-4.2.2011, בשעה 10:23, בכיכר דיזנגוף בתל-אביב.

בשבילי, התגלית שישנם "ספקנים" שכמותי בישראל היא מרתקת, אז בהחלט ייתכן שאקפוץ לבקר שם. מה איתכם?

פתחתי במקרה את ווינט ונתקלתי במאמרו של ד"ר איתי גל בשם "התאורה בחדר השינה מגבירה הסיכון לסרטן שד". תקציר המאמר הוא "כדאי להחשיך את חדר השינה: מחקר שנערך באוניברסיטת חיפה מצא שכיחות גבוהה יותר של סרטן שד בקרב נשים שבחדר השינה שלהן דלקו מנורות או חדר מקור אור אחר בשעות הלילה" קישור למאמר

הבעיה בכתבה הזו הוא שהיא טועה בקריאת המאמר ומטעה את הציבור לאמנות שאינן נתמכות במחקר.

הכתבה התפרסמה (כביכול) על סמך המאמר "Does the Modern Urbanized Sleeping Habitat Pose a Breast Cancer Risk?", שהוא מאמר שעושה רושם טוב בהחלט.
בכתבה בווינט נכתב:

"הממצאים הראו כי ככל שהאור בחדר השינה היה חזק יותר, כך הסבירות לחלות בסרטן השד עלה. נשים שהיו חשופות לכמות התאורה הגבוהה ביותר במשך הלילה, בין אם הגיעה ממנורת לילה או תאורת רחוב בשל תריס פתוח, היו בסיכון גבוה ב-40% ללקות בסרטן שד, בהשוואה לנשים שישנו בחושך מוחלט. "

לעומת זאת, המאמר המקורי כתוב במפורש (עמוד 2 במאמר):

no clear association between bedroom-light intensity and BC was found (OR = 1.4, 95% CI = 0.8–2.6).

כלומר, התוצאה בכלל לא יצאה מובהקת. או בתירגום לעברית: יכול להיות באותה המידה שאור בחדר השינה מגן מפני סרטן השד (לא נראה לי, אבל מהתוצאות זו הייתה יכולה להיות מסקנה שקולה)

עוד ביקורת שיש לי (ולמי שלא מבין בנושא, אני ארחיב על כך בפוסטים עתידיים, אבל שלפחות יהיה כתוב לבינתיים) -
אומנם מאוחר יותר, במודל מורכב יותר (של רגרסיה לוגיסטית) מתקבל שבאמת יש השפעה מובהקת (של OR = 1.278 עבור אוכלוסיה יהודית), אבל גם אילו תוצאות המחקר היו נכונות (דהיינו משקפות את המציאות האמיתית מעבר לקבוצת המחקר, שזה תמיד בעיה במקרה של מחקר מקרה-ביקורת רטרוספקטיבי מסוג זה, בגלל הקושי בבחירת קבוצת הביקורת) אבל משם לטעון שהסיכון "גבוה ב- 40%" זה לא נכון בעליל גם לכתוב שהסיכון גבוה ב- 27.8% לא יהיה נכון – כיוון שזו לא סוג של טענה שניתן לבצע בסוג של מחקר כזה. הסיבה לכך היא (ושוב, אני ארחיב על כך באיזה פוסט עתידי) משום שה- OR (מה שנמדד במחקר זה) הוא רק חסם עליון של ה-RR (שהוא המדד שמאפשר לטעון טענה כמו "סיכון גבוה ב- X אחוזים").
(ותודה לד"ר רוני בראונשטיין על הרצאתו פותחת העיניים על הקשרים השונים בין OR ל- RR במהלך הסמסטר הנוכחי…)

ואני מתעלם לצורך העניין שהמחקר הוא מהסוג שבודק קורלציה ולא סיבתיות (וגם על זה לא נרחיב היום).

לפחות מצאתי דוגמא מעניינת לשאול בשיעור חזרה לבחינה של התלמידים שלי ביום רביעי (אני מתרגל תלמידי רפואה את הקורס "ביוסטטיסטיקה", והם בין השאר לומדים את החומר הזה, דוגמא מצויינת לשיעור…)

הסמסטר אני מתרגל (בשימחה רבה) את הקורסים "ביוסטטיסטיקה" ו"מבוא לסטטיסטיקה" בבית הספר לרפואה באונ' ת"א ואת חלקם הפניתי לפה – ברוכים הבאים!

למען נוחות הסטודנטים, אני מפנה למדריך שכתבתי על כיצד להוריד את כל הקבצים השייכים לקורס אוניברסיטאי הנמצא תחת מערכת highlearn (מה שמכונה באוניברסיטת תל אביב: virtual tau):

סמסטר פורה ומוצלח.

הכנס הרביעי של הקבוצה הישראלית ליישומי סטטיסטיקה בתעשייה ובעסקים
יתקיים ביום שלישי, 30 בנובמבר 2010,
בבית חיל האויר – רח' ז'בוטינסקי 15, הרצליה.

לחצו כאן כדי להירשם

להל"ן תוכניית הכנס:

בעוד שבועיים אני טס לארה"ב לכ-5 שבועות.
כחלק מההתארגנות שלי לטיסה, אני צריך לרכוש ביטוח בריאות לחו"ל למקרה ש"יקרה משהו".
אני לא שואל לגבי ביטוח צד ג', ביטוח במקרה של טיול אתגרי, או ביטוח על חפצים.
אני שואל את עצמי, באופן הכי פשוט, על ביטוח למקרה של מחלה או תאונה בטיול פשוט בעיר.
אז איזה ביטוח לרכוש?
חברות האשראי (כידוע) מציאות ביטוח חינם. קופות החולים גם הן מציאות ביטוחים (בתשלום) בהיקפים שונים של כיסוי. וגם סוכנויות הנסיעות מציאות ביטוחים.
אצל מי כדאי לרכוש, ובכמה? כיסוי של חצי מליון שקל או מליון וחצי?

שאלתי את חברי בפייסבוק ואחת התשובות שקיבלתי הייתה:
"בתכלס? מה הסיכוי בעצם שבכלל יקרה לך משהו, שבגללו תצטרך את הביטוח?
הוא לא כזה גבוה כדי שיהיה הבדל משמעותי בין הביטוחים…"

כאן נדלקה לי הנורה שאומרת "שווה לרגע לכתוב פוסט" ומדוע? כיוון שהספרות המחקרית על הפסיכולוגיה של קבלת החלטות היא ענפה. כיוון שהמחקרים מראים שהדרך שבה בני אדם מעריכים הסתברות שמשהו (כמו תאונה) יתרחש, מבוססת על הנחות שלא תמיד מתקיימת (ראו כהנמן וטברסקי שעשו על זה קריירה ואף זכו בנובל).
מה שאני מנסה לומר הוא שזה אחד המקרים בהם אין לי (כאדם שעוסק בסטטיסטיקה – אומנות הסקת המסקנות ממספרים) את הנתונים לדעת מהי ההחלטה שאני צריך לבצע.
מכאן שאני כותב את הפוסט הזה, אם למישהו מכם יש מחשבות או שיקולים מעניינים לחלוק בנושא – אשמח לקרוא אותן בתגובות.

ובשביל שהדיון יהיה יותר פורה, הנה ההרצאה המדהימה של דן גילברט (בטד) על "הציפיות השגויות שלנו"