איזה מגניב! אורקל עשתה החודש סרטיפיקציה ל-WebLogic Server על Docker containers. כחלק מהסרטיפיקציה אורקל הוציאה קבצי Dockerfiles וסקריפטים ל-GitHub.

מי שלא מכיר את Docker מומלץ מאוד להתחיל. זו טכנולוגיה מגניבה לאריזה ושינוע של אפליקציות מבוזרות. זו מעין טכנולוגיית וירטואליזציה הרבה יותר קומפקטית מאשר מכונות וירטואליות והיא להיט גדול בעולם הענן.

את כל הפרטים על הסרטיפיקציה אפשר למצוא במסמך הזה.

בתיאבון!

כשהיישויות הפאן-ממדיות היפר-אינטליגנטיות ראו את התוצאה הם פנו ל”הרהור עמוק” ושאלו בכעס – (כי גם יישויות פאן-ממדיות היפר-אינטליגנטיות עדיין לא הצליחו להשתלט על הכעס…) “היית צריך 7.5 מיליוני שנים כדי לספור עד ארבעים ושתיים?!” – “הרהור עמוק” לא נשאר חייב והוא ענה:  “בדקתי זאת בקפדנות מרבית וזוהי בוודאות התשובה הנכונה.– אני חושב שהבעיה היא, אם לדבר בכנות, שלמעשה לא ידעתם כלל את השאלה”.

אני מספר את הסיפור כי מה שנחשב פעם למדע בדיוני הפך היום למציאות! אם תחשבו על זה תמצאו שיש בספר הזה את אחד האיזכורים הראשונים של BIG DATA –  יש כאן מחשב גדול שאוסף הרבה מאוד נתונים על הייקום החיים ובכלל בכדי לחפש ולספק תובנה ומשמעות. יש כאן שאלות שמחפשות משמעות חדשה לא שאלות BI פשוטות !  אנחנו  חיים בעידן בו אנו יכולים לשאול שאלות עם משמעות!! התובנות מסתתרות בהרים של מידע וישנה הזדמנות נפלאה ליצירת תמונה כוללת הניתנת לתחקור והסתכלות מזוויות שונות ומגוונות,  בניגוד למה שנכתב בספר כבר אין צורך לחכות  7.5 מליוני שנה בכדי לקבל תובנות ולהבין משמעות ומגמות – ניתן לשאול, לנתח ולנסח מחדש שאלות משמעות במהירות עצומה עד למציאת התשובה והתובנה המבוקשת.

אז לסיכום חשוב שתדעו שחברת אורקל יכולה לעזור לכם למצוא משמעות…   אולי לא לקיום שלכם אבל לפחות ברמה העסקית הארגונית ע”י הפיכת נתונים גולמיים לתובנות עסקיות – ללא צורך בפרויקטים טכנולוגיים מורכבים ומומחיות ייחודית.

ברכות

]]> http://www.theoracles.co.il/%d7%94%d7%9e%d7%93%d7%a8%d7%99%d7%9a-%d7%9c%d7%98%d7%a8%d7%9e%d7%a4%d7%99%d7%a1%d7%98-%d7%91%d7%92%d7%9c%d7%a7%d7%a1%d7%99%d7%99%d7%aa-%d7%94%d7%9e%d7%99%d7%93%d7%a2/feed/ 0 http://www.theoracles.co.il/%d7%a2%d7%95%d7%a9%d7%99%d7%9d-%d7%a1%d7%93%d7%a8-%d7%91%d7%91%d7%9c%d7%90%d7%92%d7%9f-%d7%a2%d7%9d-oracle-oracle-metadata-management/ http://www.theoracles.co.il/%d7%a2%d7%95%d7%a9%d7%99%d7%9d-%d7%a1%d7%93%d7%a8-%d7%91%d7%91%d7%9c%d7%90%d7%92%d7%9f-%d7%a2%d7%9d-oracle-oracle-metadata-management/#comments Tue, 14 Apr 2015 08:40:09 +0000 http://www.theoracles.co.il/?p=3934 כיום, בכל ארגון יש מגוון רחב מאוד של מקורות מידע וקשרים בין המקורות השונים אשר לא פשוט לנהל ולראות את התמונה ממקום מרכזי.
ה-OEMM מוצר חדש במשפחת מוצרי ה-Data integration של אורקל, בא לעזור לנו לקבל תמונה ויזואלית (גרפית) אשר מציגה את הקשרים בין המקורות המידע , המערכות והתהליכים שבינהם (למשל הטבלה ב-DB, דוח ה-BI ופרטי תהליך ה-ETL בדרך).
הכלי אוסף ומקטלג metadata בארגון מכל סוגי מקורות המידע כגון: rdbms databases, BI tools, Bigdata sources, ו-ETL tools ותומך באיסוף המידע ממגוון רחב של פלטפורמות ומוצרים הקיימים בשוק כגון מוצרי: Oracle, Apache Hadoop,Microsoft, IBM, SAP ועוד רבים.

בנוסף, ניתן דרך ה-OEMM לעקוב אחר זרימת המידע בארגון (Data Lineage) בין המקורות השונים וכן לזהות כיצד שינויים במערכת או שינוי תהליך מסויים ישפיעו על כלל המערכות/התהליכים הקשורים (Impact Analysis).
לכלי גם יכולת לבצע קישור בין מונחים פנים ארגוניים ל-metadata של מערך ה-IT בצורת Glossary,
יכולות חיפוש ותיעוד ומעקב אחר גרסאות, בכך הוא למעשה מהווה פלטפורמה לתיעוד ה-metadata הארגוני.

לפרטים נוספים אודות המוצר ניתן להתעדכן כאן.

רצינו לשתף אתכם בניסוי מגניב שעשינו (ליאת סבאג ואני) לאחרונה ללקוח פיננסי, הדגמנו את השירות הענני של אורקל לגיבוי בסיס הנתונים (Oracle Database Backup Service).

הגיבוי עצמו מתבצע באמצעות RMAN – הכלי המסורתי של אורקל לגיבויים.

סיכמנו עבורכם את כלל שלביי הגיבוי בשישה צעדים פשוטים:

• בכדי ש-RMAN יכיר את שירות הגיבויים הענני ויוכל לעבוד מולו בצורה מרוחקת (מהסביבה שלכם לענן) יש להוריד מודול ייעודי מהכתובת הבאה: RMAN Cloud Backup Module
• פרסו את קובץ ה-ZIP שהורדתם בסעיף 1 והריצו את הפקודה שמופיעה בהמשך, שימו לב שגרסת ה-Java צריכה להיות גדולה יותר מ-1.5(גרסה דיי ישנה, סביר להניח שיש לכם גרסה חדשה יותר כבר מותקנת J, אם לא ניתן להוריד גרסה עדכנית מהכתובת הבאה: Java SE Download ). בכדי להתקין את המודול יש להריץ את הפקודה הבאה:
  java -jar opc_install.jar -serviceName Storage
-identityDomain yourIdentityDomain -opcId username
-opcPass password -walletDir wallet_directory -libDir opc_dir/lib.

• כעת נגדיר את ה-Channel עבור RMAN לסביבת הענן:
  RMAN>
CONFIGURE CHANNEL DEVICE TYPE sbt PARMS='SBT_LIBRARY=opc_lib_dir\oraopc.dll, ENV=(OPC_PFILE=db_pfile_dir\opcORCL.ora,ORACLE_HOME=oracle_home’)

• הגיבוי לענן מתבצע בצורה מוצפנת, להלן הפקודות שיש להריץ כדי להפעיל את ההצפנה
RMAN>
CONFIGURE ENCRYPTION FOR DATABASE ON;
CONFIGURE ENCRYPTION ALGORITHM  'AES256';

SQLNET.ORA
ENCRYPTION_WALLET_LOCATION=(SOURCE=
(METHOD=FILE)
(METHOD_DATA=
(DIRECTORY= wallet_dir)))

SQL>
ALTER SYSTEM SET ENCRYPTION KEY "EncryptionKey" IDENTIFIED BY Password;


לאחר ההרצה יווצר קובץ בשם ewallet.p12 תחת התיקייה (wallet_dir) שרשמתם ב-SQLNET.ORA
• הגדרת דחיסה (אופציונאלי)
  RMAN>
CONFIGURE COMPRESSION ALGORITHM 'MEDIUM';
CONFIGURE DEVICE TYPE sbt BACKUP TYPE TO COMPRESSED BACKUPSET;





• ולקינוח, הריצו את הגיבוי
  RMAN>
SET ENCRYPTION ON;
BACKUP DATABASE;


אתם יכולים להתנסות בעצמכם כל מה שעליכם לעשות זה לפתוח חשבון בענן שלנו (cloud.oracle.com) ולהרשם לתקופת ניסוי (Trial) לשירות הגיבויים.

הרבה מאוד מהלקוחות שלי הם חברות סטארט-אפ מגניבות וחדשניות .

את הפגישה עם Everymatch   שפיתחה אתר אינטרנט להתאמות חברתיות בנושא: ספורט,טיולים ועוד ..קיימנו אצלם בחדר ישיבות – מעוצב כמו סלון אמיתי, את המצגת הצגנו על הטלויזיה, ישבנו על הספה לצידנו שידה אדומה כמו תיבת דואר, השולחן כולו קומיקס  – בקיצור אווירה מדליקה.

• ועל מה דיברנו? על הנושא החם של CONTENT TARGETING AND SEGMENTATION
  • התאמת תוכן רלוונטי לגולשים על בסיס תבניות התנהגות באתר, מידע מ CRM, אלגוריתמים מורכבים של חיזוי.
  • A/B testing, multivariate testing (חלק מגולשים רואים גרסא א של אתר חלק גרסה ב)

יש לאורקל מערכת מהפכנית שמאפשרת למקד את התוכן של אתר האינטרנט עבור הגולשים היא נקראת: - Web center site

זיהוי הגולש שמתבצע על בסיס קניות קודמות, פרופיל באתר החברה או רשת חברתית,  מילת חיפוש וכו’ מאפשר התאמה אופטימלית של התוכן לגולש וגולש.

חלק מהלקוחות שלנו הם Victoria’s secret ,  JD Williams, WL Gore . מותגים כמו Apple, Red Bull   ועוד רבים משתמשים בכלי שלנו לנהל את אתר האינטרנט שלהם.

מה עוד יכול להיות מעניין?

• עדכון האתר, הקמת MINI SITES ועמודי נחיתה
  • ממשק אינטויטיבי עבור אנשי שיווק ותוכן, ביצוע פעולות ללא תלות באנשי IT
• SOCIAL
  • אינטגרציה עם רשתות חברתיות- social login, user generated content, סקרים, דירוגים.
• MOBILE
  • אתר רספוסיבי, ניהול אתר רגיל ואתר מובייל באותו ממשק, תמיכה בכל קבוצות המכשירים.

בקיצור- ממש נהנתי! אם בא לכם לקרוא עוד על המוצר: http://www.oracle.com/us/products/middleware/oracle-webcenter-sites-ds-483544.pdf

ואת האמת – האתר שלהם מגניב  (וגילוי נאות – הוא לא על אורקל) אם בא לכם לגלוש ולחפש משהו לטייל איתו,לעשות ספורט ביחד או כל דבר אחר זה כאן: http://www.everymatch.com/

אתם בטח שואלים את עצמכם מזה בכלל OEP, אז רגע לפני שאני כותב פוסט על Stream Explorer הנה כמה מילים על OEP או בשמו הקודם Oracle CEP:

OEP הוא פתרון לניתוח אירועים בזמן אמת המאפשר סינון, גילוי תבניות, שיוך ועיבוד אירועים  מורכבים. המוצר יכול לשמש אפליקציות מגוונות – החל מאפליקציות לגילוי הונאות, מכירת קופונים ממוקדי לקוח ומבוססי מיקום וכלה באבטחת ערים באפליקציות ביטחוניות.

 Oracle Event Processing מספק לארגון פתרון מלא לתכנון, הגדרה, פיתוח והטמעה של אפליקציות מבוססות תהליכי אירועים מורכבים אשר יכול להתמודד עם מסת אירועים בזמן אמת (יכול לטפל בכמה אלפי אירועים בשנייה).

סביבת הפיתוח של המוצר ויזואלית ויש לו ממשק ידידותי מבוסס דפדפן בשם OEP Visualizer המאפשר שליטה ובקרה, הגדרה ועדכון תהליכים.

מפת עיבוד האירועים מורכבת מהרכיבים הבאים:

1. Adapters – קישוריות למקורות המידע מהם מקבלים ו/או שולחים את האירועים (event source – מקור מידע ו-event-sink – יעד מידע), המוצר מגיע עם סט של adapters: JMS, Database, Http, Http pub-sub ועוד. במידה ונדרשים לתמוך בפרוטוקול ייעודי המוצר מאפשר הרחבה ופיתוח של adapter  ייעודי.

2. Events – הגדרת מבנה האירוע הנכנס והיוצא ממפת עיבוד האירועים ב-CEP. קיימת תמיכה מלאה במבנה המבוסס על XML.

3. Channel – רכיב אשר דרכו עובר האירוע בין החלקים השונים במפת האירועים. בעת הגדרת ה-Channel מצהירים על סוג האירוע הנכנס וסוג האירוע היוצא מתוך הערוץ לרכיב הבא במפת האירועים.

4. Processors – הרכיב המרכזי במפת עיבוד האירועים ב-CEP. רכיב מריץ את אוסף החוקים שיש לעבד. הרכיב מפותח בצורה ויזואלית / טקסטואלית והתוצר שלו הוא אירוע מעובד/ אירוע חדש.

 השפה שבה מגדירים את החוקים נקראית שפת CQL (continues query language), והיא מזכירה את שפת SQL. בשפה ניתן להגדיר את הפונקציונאליות הבאה: מיונים, קשרים, מניפולציות עשירות על המידע והתאמת תבניות נדרשות, הרצת פונקציות סיכומיות, פונקציות גיאוגרפיות או הרחבה לפונקציונאליות ייעודית. ניתן להגדיר חוק ולעשות בו שימוש חוזר (באמצעות הגדרת חוק כ-view ) .

 מתוך יחידת עיבוד (Processor) יכולים לצאת יותר מספר אירועים שונים. בכדי לנתב אירועים מסוגים שונים לייעדים שונים (Processors אחרים/ מערכת יעד/ לבסיס הנתונים) נגדיר מספר ערוצים (Channels) שיוצאים מאותה יחידת עיבוד למספר יעדים. יעד אחר יכול להיות אדפטר או יחידת עיבוד נוספת לשם הרצה של חוקים נוספים על אותו אירוע.

5.Cache רכיב המאפשר שמירת אירועים על גבי Cache מבוזר. ה-cache מיושם על גבי Oracle Coherence.

כמו תמיד, אם יש לכם שאלות בנושא או שבא לכם לשמוע ולראות את המוצר אתם יותר ממוזמנים לפנות אליי.

כיום ערוץ גישה אחד כבר לא מספיק לכן מאפשר ה ODC גישה לקבצים בענן בכמה דרכים: דפדפן, מכשירים ניידים ו Desktop.

דפדפן

השרות מספק ממשק משתמש בעל מראה מודרני, נקי וקל לשימוש. להלעה של קובץ ניתן לגרור קבצים ישירות לדפדפן ללא צורך בהתקנה של תוספים נוספים. הדפדפנים שנתמכים הם: Internet Explorer,Chrome, Mozilla Firefox, Safari.

Desktop

הגישה לקבצים מתבצעת דרך קיצור דרך “My Oracle Documents” שנוצר ב explorer. אחת התכונות הנחמדות שמציע השרות הינו desktop synchronization manager שבו ניתן להגדיר מה הם הקבצים והתיקיות שרוצים לסנכרן עם הענן. הקבצים יסתכנרנו ברקע בצורה אוטומטית והגרסה העדכנית תמיד תהיה זמינה בענן.

מכשירים ניידים

השרות מספק אפליקציות ייעודיות עבור מכשירי Apple ו Android שמאפשרות לעלות, לערוך ולשתף קבצים ישירות מכל מכשיר נייד. להלן סרטון הממחיש את העבודה דרך המכשירים הניידים:

בפוסט הבא אני אתאר את היתרונות של שרות ה Documents Cloud.
Stay tuned!

To Big Data or not to Big Data

הרציונל ל Big Data מתבסס על 2 טענות עיקריות: א)  שאין שום הצדקה לקבל החלטות קריטיות לארגון על סמך תחושת בטן או אינטואיציה בזמן שהמידע קיים וזמין לאיסוף, ארגון, ניהול ואנאליזה. ב) שכיום יותר מתמיד , יש קשר הדוק וישיר בין הצלחת העסק לכמות וטיב המידע המצוי בידו. תופעת הדאטהפיקציה (Datafication) במסגרתה מתרגמים כל אספקט בחיינו למידע מייצרת כמויות עצומות של מידע. המידע, שנאגר ונאסף במגוון טכנולוגיות,  נוצר: ברשתות החברתיות, ב- לוגים של אפליקציות, עי”י חיישנים, מצלמות ועוד אינספור רכיבים המחוברים ומייצרים את עולם ה Internet of Things, מספק הזדמנות נפלאה ליצירת תמונה כוללת הניתנת לתחקור והסתכלות מזוויות שונות ומגוונות. ניתן לדוגמה להבין: את הלקוח על  צרכיו, שאיפותיו, תסכוליו…, ניתן להבין כיצד הוא מקבל את החלטות הרכישה שלו, את מגמות השוק , את ההשפעה של תופעה או אירוע מסוים על המכירות של מוצר כזה או אחר. הטכנולוגיות הקיימות מאפשרות לאסוף מידע חדש לחלוטין המסייע לארגונים לעבור ממוד של אנליזה “משקפת מציאות” , כזו שמנתחת רק את מה שכבר אירע , למוד של אנליזה “משנה מציאות” או “אנליזה צופה עתיד” (predictive Analytics) המאפשרת ניבוי ומתן תחזית.

כפי שאמרתי, מאוד מבטיח ומאוד הגיוני! ולכאורה, כל ארגון שיש לו  Use Case אמור להכנס לפרויקט שכזה בהתלהבות שכן זהו , בניגוד לפרויקטים טכנולוגיים רבים , פרויקט עסקי קלאסי שבמסגרתו הארגון יכול: לקבל החלטות טובות ומדויקות יותר, לשפר תהליכים, ליצור הזדמנויות עסקיות חדשות ולעודד אינובציה ארגונית שתייצר שירותים חדשים ואפילו עסקים חדשים על בסיס מידע ותובנות שלא היה זמינות לנו בעבר – אבל המציאות בשטח שונה.

בכדי להבין מדוע ארגונים לא ממהרים לאמץ או להכנס לפרויקטי Big Data חשוב להבין את עולם התוכן ואיך התנהל פרויקט שכזה עד לאחרונה.

האתגר של  Hadoop

כפי שידוע לרבים עולם ה Big Data החל בחברות האינטרנט: FaceBook, Google ואחרות שהיו זקוקות למערכות רובסטיות שיתמכו במליוני עד מאות מליוני משתמשים ויאפשרו איסוף וניתוח כמויות עצומות של מידע. עם התבססות פלטפורמת  Hadoop (שפותחה כ Open Source על בסיס העבודה והידע שנצבר בחברות אלו) כסטנדרט דה פקטו לאיסוף, טיפול וניהול נתונים לא מובנים, החלו לקוחות ה Enterprise לבדוק את ייתכנות היישום של Hadoop כבסיס לפרויקט Big Data בארגונם . רבים מהם נתקלו בקשיים…. בסקר שנערך ע” TechTarget  השנה, נמצא כי אחוז משתמשי Hadoop   וMapReduce  הפעילים נמוך מ 9% … לא בגלל שהטכנולוגיה לא מקיימת את מה שהיא מבטיחה אלא בעיקר בגלל שמדובר בטכנולוגיה חדשה יחסית עם מספר רב של קומפוננטות שמרכיבות פלטפורמה מאוד מורכבת המציגה אתגרים לא מוכרים לארכיטקטי IT, מנוסים ככל שיהיו…. בכדי ליישם פרויקט Big Data מבוסס פלטפורמת Hadoop  על רכיביה השונים יש צורך בידע ובמומחיות רבה. יש צורך: במומחיות   Hadoop– ית  , בהכרת הארכיטקטורה הארגונית הקיימת, במומחיות בבסיסי נתונים רלציוניים , בידע בכלי אינטגרציה, בפיתוח, בניתוח המידע ועוד. וכך למרות שקל יחסית ליישם אשכול Hadoop   קטן ולשחק איתו במעבדה יש קושי רב לשלב את הטכנולוגיה בארכיטקטורה הקיימת כחלק מתשתית ה IT ויש קושי רב לייצר מערכת שתאפשר תחקור של כלל מאגרי המידע : המובנים ( בסיסי נתונים רלציוניים ), הלא מובנים (Hadoop   ) ואחרים בצורה קלה יעילה וחסכונית.

מדעני מידע – מצרך נדיר

אנאליסטים מדווחים כי שנת 2016  תייצר דרישת שיא של 180,000 משרות למדעני מידע (Data Scientist), יחד עם זאת, ולמרות הביקוש הגדול רק   40,000 משרות יאוישו! למה זה קורה ? מדען מידע – כאיש מקצוע מומחה, נדרש לידע והבנה בתחומים רבים: מתמטיקה, סטטיסטיקה, שפות פיתוח, בסיסי נתונים רלציונים, BI, כריית מידע, ויזואליזציה, הבנה עסקית ועוד. פלא שיש מעט מהחברה האלו? חשוב להבין: שבפרויקט Big Data האתגר האמיתי הוא לא באיסוף המידע אלא בניתוחו לצורך זיהוי (Discovery) מגמות, תובנות וקשרים חדשים בין יישויות ופרטי מידע שיביאו ערך לארגון, וכי בד”כ חלק גדול מהמידע שנאסף הנו חסר ערך ויש צורך בידע רב, מומחיות ובעבודה רבה בכדי לשלוף את המידע הרלוונטי בתהליך של Discovery. ללא מדעני מידע מנוסים ויצרתיים וללא תשתית אנאליטית מתאימה יהיה זה כמעט בלתי אפשרי לייצר ערך עסקי מהנתונים הגולמיים הנאספים.

 בכדי לספק מענה לאתגרים המתעוררים בפרויקטי Big Data ובכדי לקצר את משך הפרויקט תוך מיקסום הערך העסקי מהפרויקט, חברת אורקל, המובילה העולמית בתחום המחשוב הארגוני והעסקי, פיתחה פלטפורמה ייחודית, גמישה וכוללת, המטפלת בכל מחזור החיים של הנתונים (איסוף, ארגון, ניהול ואנליזה), תוך שהיא מפשטת מאוד את ההטמעה והפרויקט באמצעות טכנולוגיות ייעודיות וייחודיות: המשמרות את הידע הארגוני ומקלות על הצוות הקיים באימוץ טכנולוגיות Big Data ושילובה לתוך הארכיטקטורה הקיימת במינימום מאמץ וזעזוע.

Big Data Discovery – ויזואליזציה של Hadoop  

כפי שכתבתי לעיל, מדעני מידע הנם מצרך נדיר ולכן עולה הצורך בכלי תחקור אינטואיטיבי שיכול לשרת את המשתמשים העסקיים ואנשי ה IT ללא צורך בפרויקטים מורכבים שעלותם גבוהה.

Oracle Big Data Discovery  הנה פלטפורמה מהפכנית המשנה את כללי המשחק בכך שהיא  מיצרת נתיב מהיר וברור להפיכת DATA לידע וערך! הפתרון שעובד מעל Hadoop עושה שימוש ביכולות אנליטיות ויזואליות מתקדמות בכדי להפוך נתונים גולמיים לתובנות עסקיות בחמישה שלבים קלים: למציאת המידע וניהול המידע כקטלוג, לתחקור והבנת פוטנציאל המידע וערכו, להעשרת המידע ומניפולציות על המידע הקיים כהכנה לאנליזה, לזיהוי קשרים ומגמות בצורה ויזאולית עם כלים אוטומטיים ולהפצת המידע.

Big Data Sql – ליישם Big Data בעולם מוכר

דרך נוספת להתמודד עם עם הקשיים שהצגתי לעיל היא “לעטוף” את  Hadoop שהנה טכנולוגיה חדשה ולא מוכרת המצריכה מומחיות רבה במעטפת טכנולוגית מוכרת וטובה –  כזו, שהוכיחה את עצמה ב 30 השנים האחרונות אצל מאות אלפי לקוחות! אורקל פיתחה את Oracle Big Data SQL  לתשאול ושליפת נתונים מ- Hadoop   בעזרת SQL סטנדרטי, המוכר לנו מעולם הDB  ללא צורך בלימוד שפה חדשה. ניתן בשאילתה אחת סטנדרטית שכל DBA מתחיל מכיר לגשת ל Hadoop   ,NoSQL DB וOracle Database  ביחד או לחוד, עם Join או בלי, איך שתבחרו בקלות וביעילות. אלמנט חשוב נוסף הוא אלמנט הביצועים. כשמתחקרים Hadoop המכיל נפחי מידע גדולים במיוחד (Big Data כבר אמרנו?) תתכן איטיות יחסית ולכן אורקל פיתחה יכולת נוספת המתבססת על טכנולוגית הSmart Scan  ,המוכרת מפלטפורמת הExadata  , לביצוע סריקה ישירות על גבי ה Hadoop תוך שיפור ביצועים משמעותי.

פתרון נוסף שיספק מענה לחלק מהקשיים מגיע כ Appliance ייעודי לעולם ה Hadoop. אימוץ טכנולוגיה זו מצמצם משמעותית את עקומת הלימוד וההשקעות הנדרשות בהכשרת ואו גיוס צוותים חדשים. Oracle Big Data Appliance מגיע שלם ומוכן להפעלה, Out of the Box, יציב ,רובסטי מותקן ומקונפג בכל הרמות. הפתרון כולל חומרה של Oracle SUN, מערכת הפעלה, Cloudera Hadoop, NoSQL DB  וכל מה שנדרש בכדי להתחיל בפרויקט Big Data תוך הצגת חסכון בעלויות תכנון, רכש, התקנה, אינטגרציה, קונפיגורציה ותחזוקה שוטפת.

מעוניינים לשמוע יותר ולחוות את החידושים האחרונים בתחומי הביג דאטה והאנליטיקה? אורקל, חושפת את פתרונותיה המתקדמים ביותר, בכנס חדשנות שיתקיים ביום רביעי, 11 במרץ 2015, אווניו מרכז אירועים, קרית שדה התעופה.

אנו מזמינים אתכם ללמוד כיצד אנחנו יכולים לעזור לכם לפשט את הפרויקט ואת הגישה לכלל הנתונים , כיצד הופכים את הנתונים הגולמיים לתובנות עסקיות , כיצד אנחנו מאבטחים את המידע בעולם של BIG DATA וכיצד אנחנו מייצרים חדשנות  עסקית באמצעות הטכנולוגיה.

    Simplify. Discover. Secure. Innovate

הרשמו עכשיו ל  Oracle Big Data Day

http://www.oracle-ilnews.com/BigDataDay/?BannID=720

]]> http://www.theoracles.co.il/big-data-%d7%98%d7%a8%d7%a0%d7%a1%d7%a4%d7%95%d7%a8%d7%9e%d7%a6%d7%99%d7%94-%d7%a9%d7%9c-it-%d7%a4%d7%97%d7%95%d7%aa-technology-%d7%95%d7%99%d7%95%d7%aa%d7%a8-information/feed/ 0 http://www.theoracles.co.il/%d7%a0%d7%90-%d7%9c%d7%94%d7%9b%d7%99%d7%a8-oracle-goldengate-for-big-data-12c/ http://www.theoracles.co.il/%d7%a0%d7%90-%d7%9c%d7%94%d7%9b%d7%99%d7%a8-oracle-goldengate-for-big-data-12c/#comments Sun, 22 Feb 2015 07:08:45 +0000 http://tech.theoracles.co.il/?p=3727 לפני מספר ימים הכריזה אורקל על מוצר חדש בשם Oracle GoldenGate for Big Data שהוא למעשה חבילה של Adapterים שיאפשרו לבצע streaming של טרנזקציות בזמן אמת לתוך מערכות הBig Data.

פתרונות הBig Data הופכים להיות יותר ויותר קריטים בארכיטקטורות מערכות המידע המודרניות. ועל מנת לייצר ערך אמיתי לעסק, יש צורך לשלב את המידע הלא מובנה או המובנה בחלקו עם מידע טרנזקציוני שמגיע ממערכות הonline בארגון.

Oracle GoldenGate for Big Data נועד לענות על הצורך הזה, ומאפשר לארגון לשמור על הנתונים במערכות הBig Data עדכניים ומסונכרנים עם מערכות הproduction.

GG  ידוע בהיותו הטרוגני ועד היום רובכם הכרתם את יכולות הרפליקציה שלו בין מגוון גדול של בסיסי נתונים ומערכות תורים.

על מנת לאפשר אינטגרציה בין רכיבים שאינם DB  סיפקה אורקל application adapters עבור Goldengate. הadapterים כללו adapterים עבור flat files עבור java ועבור JMS  ואיפשרו אינטגרציה בעיקר עם SOA, BPM, CEP וכלי ETL שונים.

כמו כן הadapter לjava אפשר לכתוב קוד לטובת אינטגרציה לפלטפורמות נוספות כגון nosql, Hadoop ופתרונות bigdata שונים.

למי מכם שלא התנסה בפתרונות הרפליקציה של Goldengate נזכיר כי הארכיטקטורה של Goldengate היא גמישה, מאובטחת , אמינה ועמידה. על כן השימוש בGG  מבטיח כי זרימת הנתונים תעשה בreal-time ללא פגיעה בביצועים של מערכות הייצור.

Oracle Goldengate for Big Data מספק בשלב זה אינטגרציה לApache Flume, HDFS, Hive וHbase. הפתרון כולל גם Oracle Goldengate for Java כדי להשלים את הפתרון ולאפשר אינטגרציה למערכות נוספות כמו NoSQL, Storm, Spark וכו’.

באותה הכרזה נחשפו חידושים סביב פתרונות הBig Data של אורקל . אתם מוזמנים להתעדכן כאן.

מודיעין אופרטיבי ממידע לא רלוונטי לכאורה

מודיעין אופרטיבי, Actionable Intelligence, הוא תנאי מוקדם לכל אסטרטגיה צבאית, התקפית או מתגוננת, ופיתוח כלים ומתודות מותאמים לאיומים שהמודיעין מזהה או חושד בקיומם, הוא הבסיס ליצירת מענה וסיכול תוכניות האוייב. בעולם האזרחי האספקטים האלה אינם מפותחים, בעיקר משום שקשה להציג את ה-ROI של השקעות בהם. עד לא מזמן גם לא היו כלים אפקטיביים למודיעין סייבר, משום שבניגוד למודיעין עסקי מקובל אי אפשר להסתמך על מידע שמפרסם היריב. אם בכל זאת הצלחתם להניח יד על תוכנית או מתווה פעולה של האקר, סביר להניח שהמידע נשתל בכוונה להטעות אותכם. בהגנת סייבר צריך להפיק מודיעין אופרטיבי מניתוח כמות עצומה של מידע שנראה לא רלוונטי, לא נקי משגיאות ולא מוגש בצורה נוחה לקיטלוג ואחסון בטבלאות ואינדקסים. בקיצור, צריך להשתמש בטכנולוגיות Big Data.

הבעיה היא חוסר ההלימה המשווע של כלי האנליזה המקובלים בסביבה העסקית, מוצרי BI למיניהם, לטיפול במאגרי נתונים “פרועים” שנוצרים בסביבת Big Data. הרבה ארגונים נאבקים בניסיון להטמיע כלים אנליטיים ממקורות לא קונבנציונליים (יישומי קוד פתוח, בעיקר) שאמורים לדעת לטפל ב-Big Data, אך ההצלחות מעטות וחלקיות במקרה הטוב. אלה לא תוצאות שבאות בחשבון כאשר נלחמים בממד הסייבר ויש צורך בהול לאמץ גישה אפקטיבית יותר.

לנצל את הארסנל הקיים בסביבה רחבת היקף

נקודת המוצא היא קיומם של כלים יעילים ביותר כאשר מדובר בניתוח “מחסני נתונים” קונבנציונליים. מחסנים אלה נוצרים בתוך הסביבה הממוסדת וממושמעת של מסדי SQL מסורתיים, שהבולטת בהם היא סביבת Oracle. אורקל השכילה לבנות מערך פתרונות אנליטיים להפקת תובנות עסקיות על בסיס Exadata, מחסן נתונים שפועל ברמת ביצועים גבוהה במיוחד. מחסני Exadata ועליהם רובד של יישומים אנליטיים, שמסוגלים לקדם את המודיעין סייבר בצעד עצום קדימה, נמצאים היום בשימוש של אלפי חברות Enterprise בכל הוורטיקלים העסקיים. כדי להשיג רמה דומה של יכולת “לראות את הנולד” ו”להקדים תרופה למכה” במערכות Big Data אין צורך להמציא מחדש את הגלגל, ואפילו לא לקנות מערכות חדשות שבסך הכל משכפלות יכולות קיימות. צריך ליצור ממשק אפליקטיבי דרכו יכולים הכלים הקיימים לנתח את נתוני Big Data במקומם הטבעי, למשל ב-Hadoop.

הרעיון הוא פשוט מבחינה קונספטואלית גם אם לא טריוויאלי בפרטיו. יש צורך לבנות Connector, מחבר תוכנה חכם, שיאפשר למסד SQL להתייחס לנתונים שמצטברים ב-Hadoop כהרחבה, הכוללת אומנם אובייקטים “לא מובנים” (Unstructured) אבל נגישה מתוך סביבת אורקל קלאסית. הבעיה בפתרון זה היא בצורך לטפל בכמויות נתונים גדולות בסדרי גודל ממה שהארגון נזקק לעשות ביישומי מחסן נתונים רגילים. במילים אחרות, יש צורך לתמצת את ה-Big Data ולהפריד את התכנים המשמעותיים מהשאר, למדר ולסווג את מה שנשאר לתחומים נפרדים בהם אין סכנה שנלך לאיבוד. בכדי לפתור בעיה זו נדרש רכיב תוכנה חכם מעבר ל Connector בסיסי, שיידע לנצל את מרכיבי העיבוד בבסיס הנתונים הרלציוני ובמקביל במאגר הביג דאטה בצורה בה תוחזר תוצאה מעובדת ומוגמרת מכלל המנועים המופעלים בסביבות שונות. את ההתאמה הזאת בין מסד ה-SQL למאגר ה-Big Data עושה תוכנה ייעודית שאורקל קוראת לה Big SQL. רכיב זה הוא ייחודי לאורקל בכך שבסיס הנתונים מודע לקיום מאגר Big Data ומייצר תוכנית פעולה מתאימה להרצה אופטימאלית של התהליך. בכך ניתנת היכולת לאחזר ולנתח בצורה פשוטה ושקופה לכלל המידע המערכתי בסביבה רחבת היקף.

לאבטח את מאגר ה-Big Data

תוכנת Big SQL לא רק ממפה את מאגר הנתונים, מסמנת אזורים של תכנים ושכבות של רלוונטיות, היא גם משליטה על הסביבה המאוחדת משטר אבטחה פרטני הכולל מידור, הרשאות, ניהול משתמשים וכל שאר אמצעי ניהול אבטחת מידע שקיימים בסביבת Oracle. “העיקרון של פשטות נותן את אותותיו בכל פרט ארכיטקטוני של הפתרון”, אומר שרון עוזיאל, מנהל תחום Big Data וסייבר באורקל ישראל. “פשטות פרושה מתן אפשרות לכל בעל תפקיד בארגון לעבוד בעולם שהוא מכיר, בסביבה בה הוא מרגיש בטוח, תוך מזעור הצורך בניהול שינויים כדי להטמיע את היכולות החדשות. המשתמשים העסקיים, ה-DBA, אנשי האבטחה ומפתחי היישומים, כולם ממשיכים לעבוד מול מסד Oracle בצורה שהם מכירים ואוהבים. עבורם הנתונים שמקורם ב-Big Data הם בסך הכל עוד נתונים כאשר האבטחה והגנת הפרטיות פועלים כאילו לא חיברנו מאחורי הקלעים מאגר Big Data. יכולת זו מושגת באמצעות יכולות ההגנה והכלים של Oracle 12c שמותקנים בחזית מסד הנתונים – ובעורף, תוכנת Big SQL כבר דאגה ליצור את ההקשרים הנכונים ל Big Data. הפונקציות והתבניות הדרושות לצורך מודיעין סייבר, ארוזות ביישומים אנליטיים ומנועי היתוך מבוססי Event Processing ,שממפים את הקורלציות בין אירועים בסביבת ה-Big Data עם אירועים במרחב הסייבר. נשאר לנו רק לפתור את בעיותיו של “מדען הנתונים”, האדם שתפקידו להגדיר שאילתות רלוונטיות, לנתח תוצאות של חיפושי תבניות וקורלציות, לערוך את המידע בצורה נוחה למערכות חיצוניות ולשתף גורמים שונים בתמונה המודיעינית. לשם כך, אורקל פיתחה את תוכנת Big Data Discovery שמספקת מענה כולל לאתגרים הרבים העומדים בפני מדען הנתונים.

Big Data Discovery היא תוכנת “סטודיו למחקרי נתונים”, סביבת עבודה ידידותית למדען הנתונים ומומחה התוכן, שמאפשרת לו לבצע את עבודתו בלי לכתוב קוד או להמציא אלגוריתמים חדשים. “יש ב-Big Data Discovery כלים קלאסיים לחציבת נתונים שהותאמו ל-Hadoop”, אומר שרון עוזיאל. “ובנוסף מכשירים לוויזואליזציה גרפית, כלים למיון אירועים על פי פרופילים ותבניות, עריכת דוחות והפצתם, וקולבורציה חוצת ארגון. בסביבה זו מגדיר מדען הנתונים את מאפייני הרלוונטיות של כל אלמנט תוכן ב-Hadoop לכל אחד מעולמות הידע שנמצאים בשימוש בארגון. בין השאר, Big Data Discovery מאפשרת לו לסמן את המאפיינים הרלוונטיים לתחום הסייבר, כך שהמידע המסווג לא נחשף למי שאינו מוסמך לראותו, גם אם הוא מגיע מתוך הארגון. תוכנת Big Data Discovery יוצרת “ארגז חול” לצורך פיתוח פונקציות חדשות ובדיקתן בתנאי העולם האמיתי – בלי הסיכון הנלווה בדרך כלל להכנסה של Big Data לליבת הארגון. וברמה המערכתית הכללית ביותר, אורקל יצרה כאן פלטפורמה אחודה לכל מערכות המודיעין והמו”פ: מידע שמקורו בתעבורת הרשת, קבצי לוג, מקורות העשרה חיצוניים, בריצת תהליכים, בהגדרות תצורה והרשאות ובממד הפיזי של שרתים, רשתות, אחסון ומשתמשים.”

מעוניינים לשמוע יותר ולחוות את החידושים האחרונים בתחומי הביג דאטה והאנליטיקה? אורקל, חושפת את פתרונותיה המתקדמים ביותר, בכנס חדשנות שיתקיים ביום רביעי, 11 במרץ 2015, אווניו מרכז אירועים, קרית שדה התעופה.

הרשמו עכשיו ל  Oracle Big Data Day

http://www.oracle-ilnews.com/BigDataDay/?BannID=720

זוהי ההזדמנות שלכם להיחשף לטכנולוגיה פורצת דרך וכניסה לעולמות תוכן ייחודיים מפי טובי המומחים בתחום זה.