מחשב חדש זה כיף. הוא מהיר. בזכות DropBox לא ממש התרגשתי מאובדן הקבצים במחשב הישן, חיברתי את החדש, והקבצים זלגו לתוכו לאט לאט…

לאחר זמן מה ראיתי שחיפוש הקבצים לא פועל. מסתבר שזו תופעה מוכרת אך כל הפתרונות לא עבדו. :-(.

עד שהגעתי לקסם המתואר כאן אשר נראה כמו עשו ריקוד טיבטי על רגל אחת אבל זה עבד.

אז אם אי פעם החיפוש ב- Windows 10 64 BIT  לא עובד לכם, עשו כך:

1. Open an elevated Command Prompt window (press win + X, and then press A)
2. Type start powershell and press enter
3. Run the command (in one line):

4. Get-AppXPackage -Name Microsoft.Windows.Cortana | Foreach {Add-AppxPackage -DisableDevelopmentMode -Register "$($_.InstallLocation)\AppXManifest.xml"}

5. תודה רבה לאתר
6. http://superuser.com/questions/947392/windows-10-search-cant-find-any-applications-even-calculator

הפוסט מחשב הולך ומחשב בא – חיפוש Windows 10 לא פועל הופיע ראשון בBI and More

הרצאה של יובל מזור ממיקרוסופט.

מהו למעשה מכונות לומדות או לימוד מכונות

יכולת של מחשבים (מכונות) ללמוד דברים חדשים בלי להיות מתוכנתים באופן מפורש.

מה זה Data science

שיטות ותהליכים שמטרתם לגבש מסקנות מתוך נתונים. למעשה הגדרה דומה מאד להגדרת בינה עסקית. בפועל מדע הנתונים יותר מודל סטטיסטי מאשר מודל להצגת נתונים והנגשת נתונים כמו בינה עסקית.

הכלים שיש לנו כדי לשלב לימוד על ידי מכונה בסביבת הבינה העסקית הקיימת

פייטון – שפת תכנות קוד פתוח אשר משמשת לכל דבר.

R – שפת תכנות בקוד פתוח המשמשת ליישומים סטטיסטיים.

SQL 2016 מכיל תמיכה מלאה בשפת R. כלומר, ניתן לכתוב קוד R בתוך בסיס הנתונים וכך בסיס הנתונים הופך מכלי לשמירה ואחזור של נתונים לכלי שגם יודע לנתח את הנתונים.

מקורות מידע כדי להתחיל "ללמד מכונה" – נניח שיש לי נתונים בארגון ואני רוצה לנצל אותו טוב יותר להסקת מסקנות.

דוגמאות לשאלות שאפשר לקבל עליהן תשובות על באמצעות מערכות למידת מכונה: 

• על בסיס ניתוח כניסת הבאגים הקיימת, כמה באגים צפויים עד יציאת הגרסה הבאה.
• האם ישנם זמנים בהם התקלות מטופלות בצורה אטית יותר.

טכנולוגיה – Azure Machine Learning

מערכת ניתוח הנתונים של מיקרסופט הנמצאת בסביבת הענן של מיקרוסופט – Azure

אפשר למשל לייצר מודל חיזוי לכמות באגים עתידית על בסיס כמות באגים בהיסטוריה. את המודל שיצרנו במערכת אפשר להסב ל- Web service ולייצר לנו מכונת חישוב אשר מקבלת מספר יום ומחזירה את כמות הבאגים המצטרבת באותו יום סידורי.

 אם אנו רוצים  לבצע חיזוי אז אפשר כמובן להשתמש באלגוריתמים שונים:

א. קל מאד להחליף אלגוריתם ואז לבדוק על נתוני הביצוע, אם הם היו קרובים למה שהמערכת חזתה ואז לדרג את איכות החיזוי לצורך בדיקת האלגוריתם.

ב. המערכת כוללת סוג של אשף לבחירת אלגוריתם על בסיס מאפייני הנתונים.

Power BI יודע להתחבר למודל חיזוי ואז אפשר להציג לצד ההיסטוריה כמו ב- BI קלאסי, אפשר להציג גם תחזית לעתיד.

הפוסט מכונות לומדות / הרצאה של יובל מזור, מיקרוסופט הופיע ראשון בBI and More

לכל מי שכותב SQL, ברור מאליו שאפשר לעשות SUM, MIN, MAX רק על חלק מהרשומות. בשביל זה בדיוק, מתחת ל- SELECT יש WHERE. אבל, אם אוסף הרשומות שלנו נמצא על אקסל, כיצד נעשה את החיבור או הבאת הממוצע, או המקסימום רק על חלק מהרשומות?

לחלק מהפונקציות האגרגטיביות יש באקסל אפשרות להכניס גם תנאי, למשל sumif, averageif. אבל ישנן שתי בעיות:

1. sumif / averageif מאפשרות הכנסת תנאי פשוט יחסית. 
2. לא לכל הפונקציות יש חלופה המאפשרת סינון רשומות לפני ביצוע הפונקציה. למשל אין maxif.

לאקסל יש פתרון וותיק לעניין זה אך נוכחתי לדעת שרבים אינם מכירים אותו. לא מצאתי שם טוב יותר ולכן אסתפק בשם פתרון ctrl+shift+enter או בקיצור CSE (באזז וורד שהמצאתי כרגע אך יש לו סיכוי טוב לכבוד את עולם ה- IT).

ניקח לדוגמה גיליון אקסל אם שער מטבע שקל-דולר בתאריכים שונים. לא בכל תאריך יש שער שקל דולר (בחגים ושבתות אין מסחר במט"ח) ולכן אנו נרצה להכניס בתא אחד תאריך מבוקש ובתא השני לקבל את שער הדולר האחרון שישנו.

בצילום המסך שלמטה, עמודה A מכילה תאריכי מסחר במט"ח ועמודה B אפשר לראות את שער הדולר בכל תאריך מסחר. תא D2 מייצג את התאריך עבורו נרצה את שער הדולר האחרון, עמודה E2 מכילה את התאריך האחרון בו היה מסחר ולבסוף, תא F2 מייצג את שער הדולר הידוע בתאריך שביקשנו.

הפונקציה MAX לעיל, תא E2, היא המעניינת בגיליון זה. באמצעות פונקציה זו מגיע תאריך המסחר האחרון. כלומר, חיפשנו את התאריך 3/1/2016. בתאריך זה אין שער דולר כלל, לכן הגיע התאריך האחרון בו יש שער דולר ידוע, ה- 31/12/2015.

בתוך הפונקציה MAX אנו מחפשים ערך מרבי אשר עונה על התנאי שקבוצת הנתונים (data set) בתוכה מבוצע החיפוש היא זו המקיימת את התנאי שווה או קטנה מ- 3/1/2016. כלומר הפונקציה מחפשת בכל התאריכים (A2:A23), מסננת רק את אלו שקטנים או שווים ל- 3/1/2016 (A2:A4) ומתוכן מוציאה תאריך גדול ביותר (31/12/2015).

ממש כאילו היינו כותבים:

select [תאריך] from a2:a23 where [תאריך]<= D2

הפונקציה הייתה פועלת באותו אופן בדיוק גם אם התאריכים לא היו ממוינים, כלומר אין כאן הליכה לאורך התאריכים ומציאת ערך קרוב ביותר כמו שעושה VLOOKUP במצב TRUE (חפש ערך קרוב ביותר) אלא, יש בפועל מעבר על כל הנתונים כמו SELECT.

איך מבוצע הקסם?

לאחר שכתבתי את הפונקציה המתוארת לעיל בתא E2, במקום לחיצה על ENTER או על אחד החיצים כמקובל באקסל בסוף עריכת תא, לחצתי על CSE – Ctrl+Shif+Enter. במצב זה אקסל מוסיף בעצמו סוגריים מסולסלות מסביב לפונקציה:

ואקסל מתייחס לביטוי ממש כמו שאילתא על בסיס נתונים או בשפת האקסל – Array Formula.

בנוסחא אשר בצילום למעלה, חוזר הביטוי A2:A23 פעמיים. זה מיותר כאן ונוצר לצרכיי הדגמה. בפועל, הפונקציה מאפשרת לחפש ערכים בעמודה אחת (נניח עמודת התאריכים) ולמצוא מקסימום בעמודה אחרת (עמודת שערי הדולר). כך אפשר למשל להביא את שערי הדולר הממוצעים בטווח תאריכים מסוים.

שתי דוגמאות לשימושים נוספים:

• חיפוש ערך ממוצע בתוך סדרת נתונים אך תוך התעלמות מ"רעשים". אם יש לי סדרת נתונים ואני יודע שיש בה נתונים שגויים מידי פעם. אני יכול לבצע ממוצע של הנתונים רק על אלו שנמצאים בטווח הסביר.
• בתוך נתונים של ספירות מלאי שונות, אני יכול להביא ערך ממוצע של מלאי רק עבור מוצר מסוים.

חושבים על דוגמאות נוספות עבורן אפשר להשתמש בזה?

אנא הוסיפו למטה בתגובות כדי שאחרים יוכלו למצוא בזה תועלת ולשפר עבודתם.

Optin Architect

אם כבר באקסל עסקינן, דבר קטן חדש שלא מצדיק מאמר נפרד אך בכל זאת. באקסל 2016, נוספה אפשרות חדשה להציג גרפים ב- כלכליסט סטייל:

הפוסט Aggregate function עם תנאי על אקסל / MaxIF הופיע ראשון בBI and More

אבל ניתן היה לראות בבירור שהענן הוא מהפיכת מידע אמתית. נתחיל בשלוש דוגמאות:

א. נסו לומר למנהל מחלקת SYSTEM שמהיום הוא פטור לגמרי מהתקנת Service Pack  לשרתי Windows  ו- SQL Server. כמה זמן ושערות לבנות לדעתכם ייחסכו לו? מהניסיון שלי, פעמים רבות לא מותקנים כלל SP רק מהחשש שהם יגרמו לנזק. או במילים אחרות, כשכל עובד אף אחד לא מתלונן. אם נתקין SP ותהיה בעיה כולם יתנפלו עלינו.

ב. מנהל מערכות המידע החליט על כניסה לניהול מסמכים באמצעות Share Point. תוך כמה זמן יהיה שרת פועל? זה יכול לקחת חודשים: התקנת שרת, התקנת SQL SERVER, התקנת Share Point. כל רכיב צריך כמובן רכש רישיון וכו'. וכמובן, כל רכיב שנתקין יחזיר אותנו לעוד עבודת תחזוקה שוטפת (סעיף א' + גיבויים ואבטחת מידע). עכשיו דמיינו שהתהליך כולו מתרחש תוך 15 דקות כאשר כל מה שצריך זה "לבקש" מהענן של מיקרוסופט להקצות לנו מכונה וירטואלית עם Template מוכן של SharePoint כלומר הכל כבר מותקן עליה מראש ואפשר להתחיל לעבוד. לא רוצים ששרת הייצור יהיה בענן? את שרת ה- TEST שצריך רק למשך כמה ימים אפשר להפעיל ברגע ואז להסירו עם סיום בדיקה כלשהי.

ג. פרויקט בניה של מחסן נתונים מחייב לדעתי ראשית כל שפה ארגונית אחידה. לא יכול להיות שמחלקת מכירות תדבר על מכירות לפי מועד מסירת הסחורה ללקוח בעוד שמחלקת כספים תגדיר מכירה על פי מועד תשלום תשלום החשבונית על ידי הלקוח ומחלקת שיווק בכלל מסתכלת על מכירה בעת ביצוע ההזמנה. וכמובן שגם הזמנה זה לא חד משמעי – האם בניכוי ביטולים? וזה ממשיך? הזמנה היא הזמנה שלא בוטלה עדיין או כמות הזמנות זה בניכוי ביטולים של הזמנות מחודש קודם? וכן הלאה… את השפה האחידה נוח ויש שיאמרו חיוני לאכוף על ידי מילון נתונים ארגוני. לטעמי טכנולוגיה מעולה למילון היא אתר WordPress, שעליו נמצא גם אתר זה. אבל, כמו בדוגמת SharePoint – וורדפרס דורש MySQL כבסיס נתונים, אפאצי' כשרת אינטרנט וכו'. הדבר האחרון שמנהל מערכת מידע רוצה הוא עוד מוצרים חדשים לתמוך בהם. מעתה אין צורך. הגדירו בכמה דקות מכונה וירטואלית על הענן עם מערכת הפעלה לינוקס (כן, כן,  לינוקס על הענן של מיקרוסופט מוגדר מראש) עם התקנת וורדפרס בילט אין ובעוד חצי שעה תוכלו להגדיר את הערך הראשון במילון.

שלי לנצמן, מנכ"לית מיקרוסופט ישראל ציינה שלמרות שיש חברות שונות המספקות ענן, למשל אמזון, הענן של מיקרוסופט הוא היחיד שיכול לפעול בצורה היברידית – משולבת. כלומר, נניח שיש לך אתר אינטרנט למכירת כרטיסים להופעות. האתר חווה 1000 טרזקציות ליום ומאחוריו חומרה ותוכנה שמתאימה לנפח פעילות זה.

עכשיו הודיעה כוורת שהיא מתאחדת להופעה אחרונה בהחלט בפארק הירקון. מה יקרה לאתר הזמנת הכרטיסים? יקרוס. האתר שנבנה לקבלת נניח 1000 עסקאות ביום, חווה תוך שעתיים-שלוש 10,000 רכישות וכאמור נפל. הפתרון של מיקרוסופט לנושא זה הוא מדהים בעיני. בניגוד לעבר בו היינו כבעלי עסק צריכים להשקיע הון במערכות יקרות כדי למנוע קריסות בעת שיאי ביקוש כאלו ואחרים, כעת יכול אותו אתר לרכוש כח מיחשוב נוסף יומיים לפני תחילת המכירה ולשחרר כח מיחשוב זה עם סיום המכירה. כח המחשוב הנוסף מתחבר למערכת הקיימת ולא מחליף אותה.

Optin Architect

שתי דוגמאות נוספות:

• בנק אשר מחויב על פי הוראות רגולטוריות לשמור טרנזקציות למשך 7 שנים אחרונות אך שם לב ששאילתות מבוצעות בעיקר על טרנזקציות משלוש השנים האחרונות. אותו בנק יכול להחליט שאת חמש השנים ההיסטוריות הוא שם בענן ואת שלושת השנים האחרונות הוא משאיר על השרתים המקומיים. עבור מי שכותב שאילתות SQL מול בסיס הנתונים, החלוקה שקופה לגמרי. הוא יקבל תשובה לא משנה איזה טווח במסגרת 7 השנים הוא יבקש. עבור מנהל השרת זהו יתרון גדול מבחינת גיבויים, איחזורים ותחזוקה של בסיס נתונים לעומת בסיס נתונים ענק.
• פעולות חישוב נדירות כגון תחזיות או חיפוש קשרים בין גורמים שונים (data mining). לדוגמה: חברות ביטוח מנסות כל הזמן לבצע תחזית לאירוע ביטוח על סמך מאפיינים שונים. ככל שימצאו יותר מאפיינים החוזים למשל תאונת דרכים, כך יוכלו לתת למי שאין לו מאפיין זה פוליסה זולה יותר כדי להיות תחרותיים יותר. אז למשל גיל הנהג הוא מאפיין שנקשר לסיכון תאונה. גודל הרכב הוא מאפיין שנקשר לגובה הנזק לאחר שקרתה תאונה. אבל האם צבע הרכב משפיע? מה לגבי היות הנהג נשוי או רווק? האם התוצאה תהיה זהה עבור נהגת? ביצוע בדיקות אלו על כמות עצומה של נתונים הייתה משימה עם דרישות משאבי מחשוב גדולים. למעשה רק הוצאת מדגם לקוחות מייצג זו משימה לא פשוטה כלל. משימות כאלו אשר מבוצעות לעתים רחוקות ודורשות ציוד יקר הן משימות שיכולות להתייעל מאד באמצעות מה שמיקרוסופט מכנים בשם הארוך Microsoft Azure Machine Learning. תוצר של בדיקה כמתואר מעלה הוא למעשה פונקציה שיכולה לחזות סיכון לתאונה על פי רשימה של פרמטרים אשר יוזנו אל המערכת באמצעות Web service כדוגמה וכך יוכל התהליך העסקי (המערכת התפעולית הרגילה) לשלוח אל AZURE את סדרת הפרמטרים באמצעות web service ולקבל בחזרה סבירות לתאונה. מתוך המערכת ניתן גם להוריד קובץ אקסל המקושר למערכת ובו הזנה של הפרמטרים תחזיר כאמור סיכון באחוזים לתאונה.

בתמונה: קובץ אקסל לדוגמה עם תחזית הכנסה של אדם לפי פרמטרים שונים שזיהתה המערכת.

בטיחות מידע

בטיחות מידע מחולקת בדרך כלל לשניים:

סיכונים של פריצה וגנבת מידע וסיכונים לאובדן עקב טעות אנוש או כשל מערכת.

נושא הפריצה למערכת וגנבת המידע הוא נושא שמרתיע מאד ממעבר לענן. אבל עוד לא היה מנהל אחד שאמר לי שאם כבר ירצו לפרוץ אליו אז יהיה יותר קשה לפרוץ לרשת המקומית שלו מאשר למיקרוסופט.

סיכונים של כשל מערכת או טעות אנוש גם הם קטנים יותר כאשר עובדים מול ענן ובו אנשים מקצועיים של מיקרוסופט מתקינים את השדרוגים לעומת אנשי הסיסטם שלנו שמטפלים גם באאוטלוק המקומי של רותי ממשאבי אנוש וגם בשרת ה- SQL הארגוני של ה- ERP.

את החשש מיכולת של שרת בענן להכיל טרנזקציות רבות הרגיע כאורח בכנס אייל בריל מחברת איירון סורס (חברה להמלצה על תוכנות ואפליקציות) אשר אמר שבכל יום המערכת שלהם אשר כולה בענן מקבלת 50 מיליון שאילתות ביום. למעשה הענן מאפשר לפזר את השרתים על פני כל העולם וכך לייעל את המערכת.

ג'ורג' מור ממיקרוסופט הדגים הפעלה של שרת SQL עם 500GB RAM וכשלושים מעבדים פיסיים שלכל אחד מהם כמה ליבות ושטח דיסק שלא הספקתי לספור.

הפוסט חוויות מכנס מיקרוסופט AZURE הופיע ראשון בBI and More

טעינת נתונים ממקור חיצוני

הדבר הראשון הבולט לעין הוא שמשיכת נתונים מתוך בסיס נתונים כלשהו אל תוך אקסל, הינה פעולה שלדעת מיקרוסופט אינה אמורה להיות נחלתם של "יודעי סוד" בלבד אלא של כלל המשתמשים. אפשר לראות זאת כאשר הממשק לביצוע שאילתות מול מקורות נתונים שונים הועבר ממאחורי הקלעים אל החזית. תחת נתונים אפשר לראות את סדרת האייקונים קבלה והמרה או Get & Transform  בממשק האנגלי:

לחיצה על שאילתא חדשה מציגה את מקורות הנתונים מהם אפשר למשוך נתונים אל אקסל. כמובן שאפשר למשוך נתונים מבסיסי נתונים, קבצי נתונים ו- ODBC. אבל ישנם שנים מקורות נתונים מעט מיוחדים יותר  אינטרנט ופייסבוק. משיכת נתונים מהאינטרנט ישנה גם במוצרים אחרים והייתה בגרסאות קודמות של אקסל לדעתי, אך בצורה מגושמת יותר. הרעיון שהוא שאם צריך בתוך גליון אקסל להתייחס לשער הדולר או לריבית בנק ישראל, אז כל מה שצריך הוא למצוא אתר אינטרנט שמציג נתון זה ולכתוב את הכתובת שלו כמקור נתונים. אקסל יידעת למשוך את הטבלה המבוקשת לתוך גליון אקסל ואז ניתן יהיה להתייחס אליה בחישובים.

Optin Architect

משיכת נתוני פייסבוק הינה עניין מיוחד יותר. באמצעות יכולת זו תוכלו בקלות למשוך רשימה של כל הלייקים שקיבלתם או ביצעתם בחשבון שלכם. תוכל לקבל טבלה עם כל הפוסטים שלכם, עם נתוני החברים שלכם וכו'. כך ניתן בקלות לזהות הצלחה או כישלון של קמפיין / פוסט וכו' בפייסבוק.

מסך הגדרת הנתונים אותם מושכים ממקור כלשהו מאפשר גם ביצעו עיבודים שונים על הנתונים המתקבלים כגון הפרדת שדה אחד לשני שדות על ידי חיפוש תו מסוים או לפי מספר תווים וכו'. אפשר להוסיף שדות אשר הינם שדות מחושבים על פי שדות קיימים, אפשר למזג שאילתות קודמות (JOIN)

PowerPivot

כמו תוספים אחרים (PowerQuery) שבעבר דרשו הורדה והתקנה בנפרד. גם PowerPivot  הוא עכשיו חלק אינטגרלי מאקסל. ברם, כברירת מחדל הוא אינו פעיל. כדי להפעיל תוסף זה יש לגשת לקבצים –> הגדרות –> תוספי COM ולהפעילו. PowerPivot זכה למספר פונקציות DAX חדשות אך לדעתי לא להרבה יותר מכך. חלק מתכונות PowerPivot "זלגו" אל טבלת הציר הרגילה. למשל ניתן כעת להגדיר בטבלת ציר חישובים באמצעות DAX. על כך בהמשך.

Pivot Table – טבלת ציר

ללא ספק החלק הכי פעיל כמכשיר לניתוח נתונים באקסל. טבלאות הציר זכו למספר תוספות יפות.

הוספת חישובים על מדדים בטבלת ציר

כאמור, ניתן כעת להוסיף ערך מחושב ישירות בטבלת ציר. כדי לעשות זאת, יש ללחוץ עם כפתור ימני של העכבר על תיקיית נתונים כלשהי ברשימת השדות של טבלת המיר ולבחור ב- הוספת מדיד. מקבלים חלון ובו ניתן להגדיר ערך מחושב חדש, כאמור באמצעות שפת DAX על כל עושר הפונקציות שלה:

המדיד החדש נראה עם סימן פונקציה ברשימת השדות וניתן להכניסו לטבלת הנתונים.

חיבור מספר טבלאות נתונים לטבלת ציר אחת

בעבר, טבלת ציר הייתה בנויה על גבי טבלה אחת באקסל. אם היינו רוצים לשלב נתונים ממספר טבלאות היינו צריכים להתחיל מהכנת טבלה אחת כאשר הנתונים מהטבלה האחרת היו מגיעים באמצעות VLOOKUP. למשל אם הייתה טבלה של מכירות מוצרים בה היה מק"ט מוצר ובטבלה אחרת היו השמות של כל מק"ט, היינו מביאים את שם המוצר באמצעות VLOOKUP אל הטבלה הראשונה ואז יוצרים את טבלת הציר. אקסל 2016, מייתר פעולה זו ומאפשר לחבר את שתי הטבלאות בתוך טבלת הציר. למעשה, על גבי טבלת הציר, אנו לא רואים רק את הטבלה ממנה התחלנו את טבלת הציר, אלא את כל הטבלאות שיש בקובץ. בעת בחירה במדד ממד מטבלה אחרת, מופיעה הודעה המציעה לנו לחבר את הטבלה החדשה באמצעות זיהוי אוטומטי (על פי שם שדה זהה למשל מק"ט) או לבצע את החיבור באופן ידני כאשר אנו נגדיר את השדות המחברים את הטבלאות.

בצילום המסך למעלה – הטבלה עליה בנינו את טבלת הציר המקורית הינה vw_g_l_entry. באותו קובץ ישנו גיליון עם התחזית, אותה בניתי עבור המאמר הקודם. ברגע שביקשתי להוסיף לטבלה שלי, יחד עם נתוני הביצוע גם את נתוני התחזית, הופיעה ההודעה המבקשת לחבר לטבלת הציר טבלת נתונים נוספת.

 הגדרה של SET / ערכות

מי שעבד עם OLAP, מכיר את המונח SET המייצג אוסף של פריטי (חברים) במימד. למשל אנו רוצים להגדיר 10 לקוחות VIP ואין לנו שדה בבסיס הנתונים עם איפיון VIP ללקוחות. אפשר להגדיר ערכה ולבחור ידנית לקוחות VIP לרשימה זו ואז בכל פעם שנרצה את רשימת הלקוחות הזו, היא תהיה זמינה לנו. אפשר כמובן גם להגדיר באמצעות MDX על נוסחאותיה ערכה (SET) דינמי, מבוסס נתונים למשל 10 הלקוחות שקנו הכי הרבה בשנה נוכחית. רשימה זו תחושב מחדש בכל עדכון נתונים וכך יתכן ודו"ח אשר יבוסס על רשימה זו יראה בכל יום רשימת לקוחות שונה.

עוד כמה דברים…

בצילום שלמעלה הוספתי מסגרות ומספרים:

1. חיפושים: ניתן לחפש שדה מסוים או לחפש ערך בתוך שדה. למשל ברשימת הלקוחות ניתן לחפש את השם רימון. כאשר החיפוש מבוצע בעת הכתיבה: כותבים ר' מקבלים את כל הלקוחות שמתחילים ב- ר'. וכן הלאה.
2. ערכות וערכים מחושבים – תוארו למעלה.
3. טיפול בזמן ותאריכים – בטבלת המקור ישנו שדה אחד עם תאריך ערך – Posting Date. כאשר אקסל "פוגש" שדה תאריך הוא בונה לו באופן אוטומטי שדות עם היררכיה של תאריכים (רבעון, חודש, שנה). בטבלה אפשר לראות את ההיררכיה הזו אשר כאמור נוצרה באופן אוטומטי כולל שם הרבעון בעברית. בנושא תאריכים אפשר לשים לב גם לכפתור חדש – ציר זמן אשר יוצר אובייקט ציר זמן (נמצא מעל הטבלה) באופן אוטמטי.
4. דחה עדכון פריסה – תכונה שאיני מבין מדוע לקח כל כך הרבה זמן להוסיפה. כאשר אנו רוצים לבצע מספר שינויים בטבלה וישנה כמות גדולה של נתונים. כל שינוי יכול לקחת מספר שניות וזה מעצבן. אפשרות זו קובעת שנבצע את כל השינויים ללא עדכון נתונים בפועל ורק לחיצה על כפתור עדכן יעודכנו הנתונים בפועל.
5.  התנהגות ה- Slicer – כלי פריסה. בעבר לחיצה על כפתור הייתה בוחרת לחתוך לפי האובייקט של הכפתור וכדי לבחור למשל מספר פריטים היינו צריכים להחזיר CTRL לחוץ. עתה אפשר לבחור כברירת מחדל שלחיצה על כפתור אחרי כפתור תבצע בחירות מרובות.

הפוסט עיבוד נתונים על גבי אקסל 2016 הופיע ראשון בBI and More

התקנתי אותו על המחשב שלי.

תחילה מחמאה וקיטור:

מחמאה: ההתקנה עברה חלק לגמרי. ביקשתי התקנה בערב, עזבתי המחשב ובבוקר הכל היה מותקן ללא כל בעיה.

קיטור קטן: לאחר ההתקנה נוקתה רשימת ה"קבצים אחרונים שנפתחו" כולל כאלו שהיו "נעוצים", כלומר כולל כאלו שהיו אמורים להישאר תמיד ברשימה זו. במקום הרשימה המקורית, בחרו במיקרוסופט להשאיר ברשימה רק קבצים "אחרונים" אשר נשמרו ל- OneDrive. במקרה שלי, כיוון שאיני משתמש ב- DRIVE של מיקרוסופט, ראיתי פתאום ברשימת ה"אחרונים" קבצים מלפני כמה שנים.

לגבי שינויים במערכת, לא מצאתי עדיין משהו בולט.

 מספר דברים שאפשר לציין:

1. סוגי גרפים חדשים ובניהם "גרף היררכי" מסוג עוגה 

Optin Architect

2. מנגנון ביצוע שאילתות חדש אשר מטרתו לאפשר גם למי שאינו מומחה SQL וכו' להצליח לנהל משיכת נתונים אל תוך אקסל. למעשה מדובר על שילוב תוסף בשם PowerQuery  לתוך אקסל. 

3. חיזוי בלחיצת כפתור. האמת, הדבר הראשון ששמתי אליו לאחר התקנת אקסל היא האפשרות לחזות את הנתון הבא מתוך סדרת נתונים היסטוריים.

4. התוסף שנקרא בגרסאות אקסל הקודמות Power Map הנו כעת חלק אינטגרלי מאקסל ומאפשר להציג נתונים על גרף GIS – מפה. תחת תפריט הוסף אפשר לראות כפתור חדש המכניס מפה לאקסל.  אקסל יודע לזהות יישובים בישראל או קורדינטות של מיקומים.

מקבלים:

על גבי המפה אפשר להציג שכבות של נתונים וסוגי גרפים שונים. אפשר גם לייצר בתוך המערכת וידאו המציג את הנתונים באנימציה. אולי אדגים זאת בעתיד.

 לשינויים ותוספות בטבלת ציר, אקדיש מאמר נפרד בהמשך.

הפוסט הכרזת אופיס 2016 הופיע ראשון בBI and More

הרכיב המרכזי עליו הוכרז במסגרת נקטו 2014 הוא האינפוגראפיק – חיבור גרפיקה למידע. מדובר על הצגת נתונים באמצעות שילוב של גרפיקה, כפי שרואים לעיתים בעיתונות הכלכלית או בתכניות טלויזיה שונות.

בעבר, הצגת מידע באמצעות גרפיקה הייתה מוגבלת לגרפים (עמודות, עוגה, קווים וכו') ולשעונים אשר שימשו בעיקר להשוואות בנוסח אחוז עמידה ביעד שנקבע מראש.

בנקטו 2014 הכניסו לתצוגות האפשריות את  השימוש בכל סוג של תמונה לצורך הצגת המידע. לדוגמה אם מעניין אותי אחוז הקניות של מוצר אי לעומת מוצר ב' על ידי גברים ונשים, אוכל לשים תמונה של גבר ותמונה של אשה ולצבוע כל אחת מהתמונות על פי אחוז הקניה שלהם מכל אחד מהמוצרים. מעניין אותי זמן הנסיעה של משאית חלוקה X לעומת משאית חלוקה Y ? מדוע שלא אציג נתון זה על גבי כביש מתפתל הדומה למסלול של כל אחת מהמשאיות ?

דוגמאות לייצוגים גראפיים של מידע באמצעות נקטו 14:

תכונה חדשה מעניינת הינה תזמון הודעות מייל עם דו"ח על פי לוח זמנים קבוע  או על פי קרות אירוע מסוים.  נקטו 14 הוא אחד מכלי ה- BI היחידים המאפשר למשתמש  סופי להגדיר אירועי נתונים אשר יחוללו הודעת מייל עם דו"ח מתאים. דוגמאות לאירועי נתונים אשר יכולים לחולל מייל: מלאי עובר קו אדום כלפי מאלה או מטה, מכירות נמוכות מידי, מכירות באחוז הנחה גדול מידי על ידי נציג מכירות כלשהו וכו'.

נקטו 12 הציגה את יכולת הדיון על גבי המצגות. נקטו 14 שיפר יכולת זו וכעת בעת דיון ניתן להכניס את הקשר לנתונים, למשל מכירות ברבעון שני של 2014. לשם כך התווספה אפשרות מעניינת של "הקפאת מצב" . נדמיין מצב בו התחלתי דיון באמצע הרבעון עם איש מכירות על מכירות נמוכות מידי. בנתיים בהמשך הרבעון המכירות עלו. אם מישהו יכנס לדיון לאחר תום הרבעון, הוא יחשוב שאני כמנהל ביניים התחלתי דיון שגוי (דיון על מכירות נמוכות בשעה שהמכירות היו טובות). נקטו 2014 הכניס את האפשרות להקפאת מצב הנתונים בדיון. כלומר, גם לאחר תום הרבעון, אם מישהו יכנס לדיון, הוא יראה את הנתונים כפי שאני ראיתי אותם בעת פתיחת הדיון. כעת המנהל שמעלי יחשוב שאני מנהל גאון: ראיתי נתוני אמצע רבעון חלשים, עשיתי דיון עם איש המכירות והופ, נתוני סוף הרבעון הפכו למצוינים.

תודה לפנורמה על ההזמנה לאירוע ההשקה של נקטו 14 ובהצלחה. 

הפוסט הכרזת פנורמה נקטו 14 הופיע ראשון בBI and More

לאחרונה נדרשתי לבצע גיבוי של מספר דורות לבסיס נתונים של SSAS 2012.

הפתרון שמצאתי לסוגיה זו הוא הוספה של תאריך הגיבוי לשם קובץ הגיבוי. עליה וקוץ בה, כיצד מוסיפים את תאריך הגיבוי לשם קובץ הגיבוי? או במילים אחרות, כיצד יוצרים פקודת XMLA דינאמית ? לא מצאתי פתרון ל- XMLA דינאמי אך מצאתי מעקף לבעיה באמצעות מספר שלבים פשוטים ושימוש ב- T-SQL לסיוע.

ראשית יש ליצור Linked Server  בין SQL Server  לבין Analysis Server.

יש להקפיד על האפשרות הבאה מסומנת:

עתה נתחכם מעט, במקום XMLA דינאמי, נבנה משפט SQL דינאמי אשר יריץ על השרת המרוחק, SSAS, פקודה באמצעות ה- Linked server שיצרנו.

החלקים המודגשים בצהוב הינם חלקים אותם עליכם לשנות על מנת להתאים את הקוד לשרת שלכם:

1. BI_Cube – שם בסיס הנתונים אותו תרצו לגבות.
2. D:\Backup\AnalysisServices\bi_cubes\BI_Cube – הנתיב ושם הרובץ של קובץ הגיבוי. לאחר שם קובץ הגיבוי, יחובר התאריך הנוכחי בפורמט YYYYMMDD.
3. <AllowOverwrite>true</AllowOverwrite> – קובע שאם באותו יום יורץ הסקריפט פעמיים, הגיבוי יעלה על הגיבוי הקודם מאותו יום ויישמר הגיבוי האחרון מאותו יום. לחילופין אפשר לקבוע שהתוספת לשם הקובץ לא תספתפק בתאריך ברמת יום אלא תוסיף גם את השעה ואז אפשר יהיה לשמור מספר גיבויים מאותו יום.
4. AS_Necto – שם ה- Linked Server של SSAS על גבי SQL Server.

למעשה מה שמבוצע כאן הוא ניצול של האפשרות של Exec להריץ סקריפט כלשהו על שרת מרוחק ולא רק על השרת בו הוא רץ. בדרך כלל משתמשים ב- EXEC כדי להריץ פקודת SQL אך אפשר להשתמש בו גם לצורך הרצת פקודת XMLA על שרת SSAS.

הפוסט גיבוי עם שם קובץ דינאמי לקובית SSAS – ביצוע דורות של גיבויים הופיע ראשון בBI and More

Jedox הינה סביבת BI  מלאה מבוססת מנוע רב ממדי בטכנולוגיית In Memory.

אני מכיר סביבות BI בטכנולוגיית In-Memory  כ- 15 שנים. למעשה את הקריירה שלי בתחום ה- BI  התחלתי עם TM1 אשר היה לדעתי המוצר הראשון בטכנולוגיה זו.

עד היום טרם ראיתי מוצר In-Memory  אשר מהווה חבילת BI  מלאה: ETL + Database + OLAP  + סביבת תחקור ראויה לשמה.

אני חייב לציין ש- Jedox  היא הסביבה העשירה ביותר הקיימת. למעשה, למעט בסיס נתונים טבלאי, יש בארגז הכלים של Jedox את הכל:

• כלי ETL מושלם.
• מנוע רב ממדי המשוכלל מסוגו שראיתי.
• סביבת תחקור בעלת שתי רמות: רמה אחת לתחקור באמצעות אקסל כולל כל יכולות אקסל המהווה Viewer  לקוביות ה- Jedox  , סביבת תחקור על Web. בנוסף קיימת גם אפליקציית סלולר לתחקור הקובייה על המובייל.

Jedox עושה דבר נהדר ש- BI  מסורתי מתקשה לבצע. הוא מאפשר למשתמש לקבל מהמערכת התפעולית את נתוני הביצוע אך בה בעת הוא מאפשר למשתמש לפתוח גרסה נוספת של הנתונים ועליה יכול המשתמש (לא המפתח) לכתוב נתונים בעצמו.

המשתמש יכול לייצר בקלות גיליון אקסל אשר באמצעות ממשק דומה לטבלת ציר מושך נתונים מקוביית Jedox. כל זה דומה מאד למה שעושה אקסל מול קובית SSAS. הקסם האמיתי הוא ביכולת לייצא גליון אקסל זה אל ה- Web  ולהפכו לבר תחקור דרך דפדפן אינטרנט בלבד. ללא שום התקנה נוספת. לשם השוואה, כדי לבצע פעולה דומה בסביבת מיקרוסופט יש צורך הרכיבים: SQL Server BI Edition + SharePoint server enterprise edition + Excel services .

לאחר שרכשנו והתקנו את כל רכיבי מיקרוסופט הדרושים, הצלחנו ליצור מאקסל אפליקציית Web אשר אמנם יכולה להציג נתונים מתוך הקוביה אך אינה יכולה לכתוב נתונים אל הקוביה.

היכולת לכתוב אל הקוביה מתוך סביבת WEB  מנוהלת הינה יכולת חשובה למשל בעת מתן יעדים או הכנה של תוכנית עבודה בשיטת bottom up (כלומר כל מנהל סניף לדוגמה יותר תוכנית עבור הסניף שלו וכך בסופו של דבר יש תוכנית עבודה לכל החברה).

חבילת התוכנה היחידה שעושה דברים דומים הינה קוגנוס מבית IBM.  ההבדל המהותי בין שתי חבילות התוכנה הוא שבעוד JEDOX  פותח מלכתחילה תחת החזון של חבילת BI  שלמה. קוגנוס של IBM הינו אוסף של תוכנות אשר נרכשו מחברות שונות (קוגנוס + TM1) ולאחר מכן נרכשו על ידי IBM. האינטגרציה של מרכיבי החבילה השונים אינה מושלמת בלשון המעטה.

הפוסט רשמים מכנס Jedox.4 הופיע ראשון בBI and More

בחרתי לציין מספר דברים שכדאי לעשות ולשים לב לאחר שדרוג SQL Server  לגרסת 2012.

במידה ואתם עובדים עם Standard Edition, כדאי לדעת שהמעבר לגרסת 2012 פותח עבורכם מספר תכונות שלא היה קיים לפני כן.

אני ממליץ בחום לעבור על כל תהליכי הגיבוי ולסמן את האפשרות Compress Backup

אפשרות זו (דחיסת גיבוי) הייתה אפשרית בעבר רק בגרסת Enterprise. כיום, כאשר ניתן לבצע את דחיסת הגיבוי בכל הגרסאות, כדאי להשתמש בזה כדי לחסוך בשטח דיסק ולהקטין את משך הגיבוי הכולל במידה ומגבים לדיסק ברשת.

שימוש בשפות ב- Analysis Services – אחד הדברים שהיו מעצבנים בעת פיתוח בגרסאות נמוכות מ- 2012, בסביבות שאינן Enterprise Edition , היה הצורך לכתוב MDX עם עברית.

המעבר לגרסת 2012 מאפשר שימוש ב- Translation  בעת פיתוח ב- Analysis Services בכל הגרסאות ולא רק בגרסת Enterprise כפי שהיה עד עתה.

כתוצאה מכך ניתן להשאיר לשמות המדדים, הממדים וההיררכיות שמות עם אותיות אנגליות אשר מקלות מאד על כתיבת MDXים. למשתמשים ניתן לחשוף את כל השמות בעברית תקנית באמצעות הגדרת Translations .

התנהגות מעט משונה שיש לשים אליה לב ב- SSIS :

כאשר משדרגים פרויקטים אשר נבנו בגרסאות קודמות של SQL (מ- 2005 והלאה), הם מתנהגים בעת Deploy באופן זהה לאופן בו הם התנהגו בגרסאות הקודמות.

אולם, כאשר בונים פרויקט SSIS חדש, לא ניתן לבצע Deploy ל- Package בודד אלא רק לפרויקט שלם. ההסבר של מיקרוסופט לנושא זה הוא ש- Package ים שונים עשויים להיות בעלי קשרי גומלין ולכן מבוצע בכל מקרה Deploy לכל הפרויקט ביחד.

בכל מקרה אני ממליץ בחום להשתמש ב- BIDS Helper על מנת לייעל משמעותית את תהליך ה- Deploy.

הפוסט מספר דברים שכדאי לעשות לאחר שדרוג SQL Server לגרסת 2012 הופיע ראשון בBI and More