בעקבות בקשתו של מאזיננו הנאמן דוויד, התכנסנו באולפן התת-ימי שלנו לשיחה על בינה עסקית
(BI). בתא הלחץ נמצאים רן ואורי, ארז מ-OutBrain וחגי מ-LivePerson בפאנל המומחים.

OLAP vs. NoSql - צהרי היום בדאטה סנטר. יש גם OLTP.

עובדים עם OLAP? אפשר גם לשחק עם קוביות.

גוגל, פייסבוק ודומיהן יצרו מצב שבו OLAP כבר לא היה יכול להתמודד עם כמויות המידע שהן יצרו.

כמה זה הרבה מאוד מידע? תלוי (אבל אם אתם מטפלים ב-GB עד TB של מידע ביום - כנראה שOLAP לא בשבילכם, המומחים קוראים לזה Web Scale)

פה בא אפקט וויזואלי: אורי מחזיק את האוזן עם היד הנגדית מעל לראש. אתנחתא קומית.

גוגל פרצו את הדרך עם הרבה מערכות, אפליקציות ושירותים שפותחו בשביל להתמודד עם כמויות המידע העצומות שגוגל הייתה - ועודנה - צריכה להתמודד איתן.

Vertical Partitioning יכול ליצור חוסר איזון בעומס העבודה בי מכונות, ובכלל - זה פיתרון ממש ממש רע.

Database sharding. קשה, קשה …

שמירה של המידע בעמודות (מול שורות או רשומות) משפר פלאים את הביצועים של בסיסי נתונים.

ב-LivePerson החליטו להשתמש ב-Vertica לצרכיהם.

התהליך ב-LivePerson: המידע הלא מעובד נכנס לצביר של Hadoop, שם הוא עובר עיבוד, משם הוא עובר לתוך בסיס הנתונים של Vertica.

צריך להשקיע הרבה מחשבה בהכנסה נכונה של המידע ל-Vertica.

Vertica ו-NoSql ? אין קשר משפחתי (Vertica הוא בסיס נתונים אס קיו אלי לגמרי)

עולם ה-BI לא יכול להיות בגרנולציה של משתמש בודד

ב-OutBrain משתמשים ב-MySql במקום ב-Vertica וגם עושים שימוש ב-Storm (ויש גם ספר)

ביג דאטה, כמו עוד כמה דברים בחיים, הוא משהו שאתה יודע שיש לך כשאתה יודע שיש לך. מבולבלים? גם אנחנו. כלל אצבע אפשרי הוא בדיקה האם המערכת תעמוד בסדר גודל אחד או שניים יותר של מידע בלי לאבד ביצועים.

גוגל מחדשים עם BigQuery - נראה טוב.

נתקלתם בבעיות של ביג דאטה? בעיות של עשירים. אבל חכו עד המיליון הראשון...

ביג דאטה - נסו ותיהנו!

הקובץ נמצא כאן

האזנה נעימה

תודה ליותם על התמלול וארז על עבודת הסאונד (היתה בעיה בהקלטה וארז הצליח להציל את הקובץ)