פרק מספר 365 (מספר קוסמי!) של רברס עם פלטפורמה - קרבורטור מספר 26: אורי ורן מארחים את נתי שלום (היזם של חברת Cloudify) לשיחה התקופתית על קוד פתוח, עננים, תשתיות ואירועים מהתחום מהזמן האחרון.קצת רקע להיום: ב - 11 למרץ 2019 פורסמה הודעה של AWS על התאגדות משותפת עם מספר חברות (בינהן Expedia ו-Netflix), על מנת לקחת מוצר בשם Elastic Search (חברה שהיזם שלה ישראלי, תזכורת לפרק 362 עם אורי כהן, וגם התגובה של שי בנון המייסד) וליצור עבורו מודל הפצה חדש (Re-distribution), מה שמרעיד את אמות הסיפין בתחום ומעורר לא מעט שאלות.נתי גם אמר את זה קודם . . .הנושא הציף קודם כל את הבלבול שקיים סביב המודל העסקי של חברות קוד פתוח והאופן שבו הן מייצרות רווח - נכון עבור Elastic אבל באותה מידה גם עבור Redis או GitHub וכו’.כל המוצרים של החברות הללו מגיעים מחברות ממומנות ולמטרת רווח ישיר, בשונה למשל מפרויקט כמו Kubernetes, שגוגל מעודדת על מנת לעודד צריכה של Google Cloud (ומשם לייצר רווח “משני”).יש מספר דרכים לרווח ישיר ממוצר קוד פתוח - רישיון שימוש (Subscription license)שירות כ-SaaS (ותשלום לפי צריכה)שירות מנוהל (Managed Service) - דומה ל-SaaS, רק שיש אפשרות גם להריץ בעצמךתשלום על תמיכה ו-Extra Featuresנקודה עדינה, כי יש גבול דק שקל לעבור ולהפסיק להיות “באמת” קוד פתוח. כל ה-API למפתחים חייבים להיות פתוחים, אבל תחומים של Clustering או Security למשל כבר נחשבים כ”איזורי מוניטיזציה” - זה כבר לא POC או פיתוח אלא שימוש משמעותי שמצדיק תשלום.ההבדל המשמעותי לעומת “קוד סגור” הוא היחס שבין הספק ללקוח - צריך לשלם, אבל לא מיד ברגע שנוגעים במוצר אלא רק כשיש ערך ברור.חשוב לשים לב שגם צד הלקוח מעוניין הרבה פעמים בתשלום כלשהו עבור שימוש משמעותי - יוצר מחוייבות לתמיכה (או לפחות תחושה כזו) ואומר שיש מישהו מאחורי המוצר שיכול לתמוך במקרה הצורך.זו מערכת מבוססת אמון (Trust system) - ויש מגוון סוגי רשיונות שמגדירים מה מותר לעשות עם החלק הפתוח (החינמי)הרשיון “המתירני” ביותר נקרא Apache 2.0, שמאפשר כמעט הכל (כולל re-distribution) והרבה ארגונים משתמשים בו, גם מתוך חשש מרישיונות כמו GPL למשל, שאומר שאם מבצעים שינוי בקוד חייבים לשתף גם אותו (מה שעשוי להיות קשה לשליטה ובעייתי באופן כללי לארגונים גדולים).למיטבי לכת (ושמע) - היה פרק שלם גם על זה עם עו”ד(!) דביר גסנר (ב-2012, ועדיין), ועוד אחד על רשיונות קוד פתוח (פרק 211 מ-2014), וגם זהר זקס הרחיב על הנושא בפרק 317 על Zusammen. הרבה שיעורי בית.בשורה התחתונה - חברות פחדו ממצב בו מפתח בודד יעשה שימוש בקוד עם רישיון שמעבר ל-Apache 2.0 (או MIT License שהוא די מקביל) ויחייב את החברה לשיתוף שהיא לא יכולה לעמוד בו.השוני הגדול הוא בעיקר בזכויות ההפצה (Re-distribution) ושימוש כ-SaaS.העיקרון הבסיסי הוא שהפרויקטים הללו דורשים הרבה מאוד השקעה, חדשנות וטכנולגיה, ועומדות מאוריחהם חברות גדולות שבסופו של דבר צריכות מודל עסקי על מנת להתקיים ולהרוויח (ולהנפיק…).לא צריכה להיות סתירה בין זה לבין טובת המשתמש, שעדיין נהנה ממוצר באיכות מאוד גבוהה בחלק הפתוחשונה מפרוייקטים שמבוססים לחלוטין על  תרומות קוד של משתמשים, מה שעובד לרוב רק כשיש חברות שמאגדות את הפרוייקט על מנת להפיק ערך באופן אחר (שוב - דוגמת Kubernetes ו-Google).אז בחזרה לשאלה המקורית -  למה רעדו אמות הסיפין?המרכיב הראשון הוא עניין האמון - ברגע שיש שימוש משמעותי במוצר צריך להתחיל לשלם. מה זה “משמעותי”? בדיוק . . .אם אני עושה שימוש משמעותי בקוד הפתוח, אבל גם מאפשר להשתמש בו בחינם (או לקבל תמיכה בחינם וכו’), נוצרת פגיעה בחברה שפיתחה את הקוד, ולא נהנית מרווח בשלב בו הוא הופך ”לגיטימי”אם נוסף על כך את העובדה שזה קורה בפרויקט שבו לא תרמתי למוצר מלכתחילה, ורק אפשרתי שימוש משמעותי בחינם - נוצר משבר אמון עמוק.אז AWS.משמעות ההודעה של AWS היא שעבור מוצרי קוד פתוח שהם לא באמת תרמו לפיתוחם, הם חותכים את קווי המוניטיזציה - על מנת להנות מהשימוש הרב בהם (להנות מהרווח הנגזר מהשוק שגדל, בלי להשקיע בשלב הראשון של יצירת ופיתוח השוק).נותנים שירות ותמיכה לחלק החינמי של השירות - ובפועל מתחרים בחברה המפתחת על התמיכה במוצר (החינמי) שלה, אותה תמיכה שהרווח הפוטנציאלי ממנה היה הבסיס והתמריץ לפיתוח.הדרך של החברה להגיע למשתמשים הייתה, למשל, לאפשר שירות במודל SaaS על התשתיות של AWS (שמרוויחה כבר בשלב הזה, אבל זה ממודל אחר), ולהרווי…

רן, אלון, ודותן בפרק מספר 57 של באמפרס (364 למניין רברס עם פלטפורמה) - סקירה של טכנלוגיות ודברים מעניינים האחרון, נכון ל-1 באפריל 2019. 

רן, אלון, ודותן בפרק מספר 57 של באמפרס (364 למניין רברס עם פלטפורמה) - סקירה של טכנלוגיות ודברים מעניינים האחרון, נכון ל-1 באפריל 2019. מתחילים בגדול - מכירים CAP Theorem? ההנחה עד היום הייתה שבמערכות מבוזרות אי אפשר לשמור במקביל על Consistency, Availability  ו - Partition Tolerance, אלא לכל היותר על 2 מתוך ה-3 בו זמנית. עכשיו מגיעה תפנית בעלילה,  דווקא מכיוון הפיסיקה התיאורטית - מדענים פרסמו ניסוי מחשבתי, שאומר שבמידה וניתן לעבור את מהירות האור,  ניתן לשמור על שלושתם במקביל!כיוון מעניין, בעיקר מבחינת מחשוב קוונטימה זה אומר לגבי Spanner? לא צריך את כל השעונים האטומיים? . . . לא, צריך רק לעבור את מהירות האור וזהו.למתי מתוכנן? צריך לבדוק עם איינשטיין (לא של Salesforce - אלברט עצמו, כי אם כבר עוברים את מהירות האור יש מצב שאפשר לחזור אליו).בהמשך לזה - באמצעות ענן של Quantum Computing, ולמשך חלקיק שנייה, נראה שהצליחו להפריך את CAP Theorem, ובתהליך נוצרו חלקיקים חדשים, שזכו לשם CAPP - CAP Particles.המאיץ ב-CERN מכוייל עכשיו כדי לאתר את החלקיקים החדשים - העולם הפיסי מתחבר לעולם התוכנה, וזה כבר לא רק ניסוי מחשבתי. המודל העסקי של Google בסכנה (בחמישים השנים הקרובות)?חדשות מכיוון פייסבוק והתשתיות (להקה חדשה?) - למי שזכור את ה- HipHop compiler, שנכתב ב-Facebook ומקמפל קוד PHP ל ++ C (קוד מאוד מהיר) - אז עכשיו הוכרז על פרויקט חדש בשם HipContain.מבטיח תכונות חדשות כמו Security ו-Startup Time מהיר (sub-ms), מזכיר קצת את ה AWS Firecrackerאז יש Container Engine ב-PHP - נראה שלשם הולך העתיד, אין ספק.קצת חדשות מהארץ  - בזק מכריזים על התשובה שלהם ל-S3: שירות ענן חדש בשם B4 (אין קשר לסובארו) Bezeq is a Better Bang for the Buckלא ברור לגמרי לאן זה מכוון, כנראה בעיקר לשוק הבינלאומי - דותן ניסה וננעל כיוון שה-Region לא התאים, אלון ניסה עם VPN ודווקא כן עבד. לגידי גוב בטוח עובד.נראה שלבזק יש סכסוך כלשהו עם הרשויות האמריקאיות על רקע האמירה של הנשיא טראמפ על הכוונה לחוקק חוק שאוסר על אחסון מידע מחוץ לגבולות ארה”ב.הפתרון עשוי להיות ספינה עם קונטיינרים ועליהם הדאטה, כך שזה לא שייך לאף מדינה  - אחרי ספינות ההימורים והאלכוהול, עכשיו יווצר שוק של ספינות דאטה, רעיון מהפכני לכל הדעות.בהמשך לאייטם של רן על AWS שמאפשרים להשהות workload ב-EC2 (באמפרס 56) - הפיצ’ר הורחב, ומאפשר לעשות את זה לכל הענן.למה זה טוב? ניתן לממש ענן שומר שבת! הלקוח הראשון שמימש הם B&H, שעוצרים עם כניסת השבת ומחזירים את הענן מאותה נקודה בדיוק בצאת השבת.עובד עם לו”ז כללי, לא ממש עוקב אחרי הכוכבים - אינטגרציה פשוטה עם השירותים של Amazon, בלי צורך לשנות את הקוד (בדיוק רצה לולאות For? היא תעצור, ותמשיך מאותה נקודה בצאת השבת).רעיון לשיפור - להגדיר דרגות חומרה על פי ספירת כוכבים להגדרת מועד צאת השבת המדויק (API פשוט): יש כאלה שיסתפקו בשלושה כוכבים, ומי שבטח ירצה ללכת על בטוח ולא לחדש את הענן לפני שזוהו חמישה כוכבים, וכו’. נפנה לרב ונבדוק.אגב - זה לא רק לשבת: מתחילים לראות בלוגים שמדברים של מימוש אפשרי עבור Work-Life Balance: הפיתוח עוצר בשש בעבר וממשיך רק בבוקר. הימור שלנו - לא ירחק היום שבו האיחוד האירופאי יעביר חקיקה בנושא.פרויקט קוד פתוח חדש ומעניין, שהתחיל כפרויקט צד של יוצאי גוגל: מימוש מנוע חיפוש עם יכולות דומות לאילו של המנוע של גוגל (גם אם לא באותו Scale) - והכל ב-Bash (מעבר לדברים הבסיסיים שמותקנים על כל Linux).דוגמא מאלפת לאילו דברים יפים / נוראיים אפשר לעשות עם Bash.לא שימושי בשום צורה - לא ביצועים ולא Scale - ועדיין הוכחת יכולות מרשימה.סביר להניח שהתחיל כהתערבות בסגנון “אין מצב שאפשר לממש מנוע חיפוש ב-Bash” והרבה אלכוהול. . .עדיין בסביבת Google  - כנראה ש Kubernetes הוא ה Orchestration Engine הנפוץ בעולם, ועדין אחד הקשיים העיקריים של משתמשים חדשים הוא, ובכן - הגייה נכונה של השם . . .הרבה נוטים להגות Kubernetecs (קוברנטיקס, מקרה מתועד אפילו באחד הפרקים האחרונים כאן), כנראה שזה מתגלגל יותר טוב על הלשון.כמו כל חברה רצינית, בגוגל ביצעו Usability testing, והגיעו למסקנה שהקהל כנראה צודק ושהגיע הזמן לשנות את השם רשמית (משהו בסגנון “עגבניה היא ירק כי הציבור חושב ככה”) - מעכשיו יש לומר Kubernetecs, ותוך דור או שניים זה יהיה פשוט גם למי שכבר התרגל להגייה הקודמת.אבל זה לא סוף הסיפור - עכשיו צריך ל…

Users want to see their data fast, immediately, now. Whether you’re working with an ORM or writing native SQL, you probably had a “scratching-my-head-trying-to-figure-out-why-this-query-is-so-slow” moment. The team at EverSQL analysed more than 30,000 SQL queries from thousands of different companies, to lay down the most common mistakes developers do when writing SQL queries. This talk will focus on writing SQL the right way, the fast way.

MP3

Users want to see their data fast, immediately, now. Whether you’re working with an ORM or writing native SQL, you probably had a “scratching-my-head-trying-to-figure-out-why-this-query-is-so-slow” moment. The team at EverSQL analysed more than 30,000 SQL queries from thousands of different companies, to lay down the most common mistakes developers do when writing SQL queries. This talk will focus on writing SQL the right way, the fast way.


MP3

When was the last time you wrote an algorithm to plan your diet? As programmers we do amazing things in our everyday job, but rarely do we use our knowledge at home. In this talk I will introduce genetic algorithms and share how I coded a genetic algorithm from scratch and used it to generate my weekly schedule and to create a smart diet planer. We will go through the different stages of the algorithm and understand how they affect the algorithm’s solutions. Let me show you a different side of genetic algorithms and you will discover a new way to solve your everyday problems.

MP3

When was the last time you wrote an algorithm to plan your diet? As programmers we do amazing things in our everyday job, but rarely do we use our knowledge at home. In this talk I will introduce genetic algorithms and share how I coded a genetic algorithm from scratch and used it to generate my weekly schedule and to create a smart diet planer. We will go through the different stages of the algorithm and understand how they affect the algorithm’s solutions. Let me show you a different side of genetic algorithms and you will discover a new way to solve your everyday problems.


MP3

פודקאסט מספר 363 של רברס עם פלטפורמה - אורי ורן מארחים את יקי ויובל מחברת NVIDIA לשיחה (קצת) על החברה בישראל ו(בעיקר) על מה עושים היום עם GPU, האפליקציות המעניינות ומהם הדברים עליהם עובדים בישראל.

יקי טבקה מוגדר ב-NVIDIA כ- Distinguished Engineer (כמו Individual Contributor, ברמה גבוהה), עוסק כבר הרבה שנים בכלי פיתוח תוכנה, בעיקר בתחום של גרפיקה תלת-מימדית, חישוב מקבילי ובינה מלאכותית.

יובל מזור הוא Senior Solution Architect ב-NVIDIA - זה שתפקידו לקחת את הטכנולוגיות שיקי מדבר עליהן (וגם בונה, וגם עובדים יחד) וליישם אצל לקוחות.

אם יצא לכם לפרק מחשב פעם ולראות מה יש בפנים, בטח נתקלתם בלוגו ירוק יפה של NVIDIA - 

פודקאסט מספר 363 של רברס עם פלטפורמה - אורי ורן מארחים את יקי ויובל מחברת NVIDIA לשיחה (קצת) על החברה בישראל ו(בעיקר) על מה עושים היום עם GPU, האפליקציות המעניינות ומהם הדברים עליהם עובדים בישראל.יקי טבקה מוגדר ב-NVIDIA כ- Distinguished Engineer (כמו Individual Contributor, ברמה גבוהה), עוסק כבר הרבה שנים בכלי פיתוח תוכנה, בעיקר בתחום של גרפיקה תלת-מימדית, חישוב מקבילי ובינה מלאכותית.יובל מזור הוא Senior Solution Architect ב-NVIDIA - זה שתפקידו לקחת את הטכנולוגיות שיקי מדבר עליהן (וגם בונה, וגם עובדים יחד) וליישם אצל לקוחות.אם יצא לכם לפרק מחשב פעם ולראות מה יש בפנים, בטח נתקלתם בלוגו ירוק יפה של NVIDIA - החברה מוכרת הסטורית בהקשר של כרטיסים גראפיים, והיום (וכבר לא מעט זמן) יש כבר הרבה יותר מזה.החברה נוסדה ב-1993 ע”י שלושה יזמים עם ~$20M השקעה של VC, היום החברה מוערכת בכ-$90B, ויש לה מעל 11,000 עובדים. גדלה יפה.ההתחלה הייתה עם כרטיסי משחק - המעבד המרכזי לא ממש מתאים לציור פיקסלים, והתחילו לייצר מאיצים למיניהם. הראשון ש-NVIDIA הוציאה ב-98 נקרא RIVA TNT, שידע לייצר 2 פיקסלים במקביל (!).מאז התחום התחום התפתח . . .  הכרטיס הנוכחי יודע לעשות Ray Tracing, בינה מלאכותית, לשמש כמובן ככרטיס ל-Gaming - ומגיע מבחינת ביצועים ל-14 טרה-פלופס (Tera FLOPS), שזה מספר לא ממש נתפס עם 12 אפסים של פעולות בשנייה.החברה פעולת בשלושה שווקים מרכזיים - גרפיקה תלת מימדית:  Gaming, Professional Graphics (CAD, CAM, MRI, etc.) and moreחישוב מקבילי (High Performance Computing, Super Computers) בינה מלאכותית - בעיקר Deep Neural Networksבערך בשנת 2001, כרטיסים גרפיים החלו להיות ניתנים לתכנות (לפני כן היו Fixed pipeline), מה שגרם לאנשים לחשוב “למה רק גרפיקה?” - אפשר גם פיסיקה, חישוב מזג אוויר ועוד - ונוצר התחום של General Purpose computing on GPUs :GPGPU, שהפך למאוד משמעותי ב-NVIDIA.127 מתוך 500 מחשבי העל הגדולים בעולם כוללים מעבדים של NVIDIA, מערכים של High Performance Computing ועוד.רגע, GPU ו-CPU . . . על ה-Central Processing Unit אפשר להריץ חישובים (גם פיסיקליים) למיניהם, אז למה ה-GPU (או ה-GPGPU) יודע יותר טוב?אלו שני יצורים שונים לגמרי, עם מטרות שונותהמטרה של ה-CPU היא לקחת כל Thread ולהריץ אותו הכי מהר שאפשר (Minimal Latency). יש המון “טריקים” לאיך אפשר עשות את זה: למשל Out Of Order Execution  - אם צריך לחשב ++i וגם ++j אז אפשר במקביל; אפשר לעשות Pre-fetching (למשל להביא נתון מהזכרון לשימוש בעוד 20 פקודות כדי שלא יחכה, אם אני יודע לצפות את זה סטטיסטית), אפשר לעשות Branch Prediction ועוד הרבה שיטות.זה מתאים להמון אפליקציות - Office למשל, או בכלל כל אפליקציה עם לוגיקה סדרתית. “סדרתית” זו מילת המפתח, כי לפעמים אנחנו מגיעים לבעיות שהן “Embarrassingly Parallel” - ניתנות לפירוק להמון בעיות “קטנות” ומקביליות, למשל גרפיקה תלת-מימדית, חישובי מטארולוגיה וכו’. לזה כבר מתאים יותר GPU.ה-GPU הוא מכונה שנועדה למקסימום Throughput (בשונה ממינמום Latency של ה CPU)איך זה עובד? לדוגמא אותו מעבד גרפי למשחקים שדיברנו עליו (ההוא עם ה- 14TeraFLOPS. . .) יודע “להחזיק באוויר” 4600 Warps - כש-Warp מייצג 32 יחידות אריתמטיות לוגיות (ALU) שיודעות לעשות כפל, חילוק וכו’. בניגוד ל-Thread של ה-CPU שמחזיק Instruction Pointer לכל ALU, כאן יש 32 יחידות לוגיות עם Instruction Pointer יחיד שיודע לעשות Crunching לכל ה-32 פעולות במקביל.תנשמו עמוק - יש 4600 כאלה במקביל.נזכיר שהמטרה היא אופטימיזציה של Throughput ולא Latency, אז אם  למשל נתקעים כי צריך נתון מהזכרון, פשוט “זורקים הצידה” את ה Warp שרץ ומריצים Warp אחר. אם גם הוא ניתקע - שוב זורקים ומריצים עוד אחד - וכיוון שיש כמות עצומה של כאלה באוויר, אנחנו “מחביאים” את ה-Latency שלהם - כל אחד לא בהכרח רץ הכי מהר שהוא יכול, אבל ה-Throughput הוא עצום.רן רוצה להקשות בכל זאת - בשנים האחרונות (יותר מ-10 כבר) יש מעבדים מרובי ליבות (32, 64, איפה עצרנו?). האם זה נותן פתרון דומה ל-GPU?לא.טכנית - אפילו מבחינה מספרית, מעבד עם 8 ליבות ונניח 16 Threads או אפילו 32 או 64 - כשה-GPU יודע לבצע סדר 150,000 פעולות ALU במקביל . . . זה בסדר גודל שונה לחלוטין. אולי אם היה לי מעבד עם 150,000 ליבות היה על מה לדבר.האם יש גם שוני ב-  instruction set? יש דברים שפשוט יותר קל לעש…

פודקאסט מספר 362 של רברס עם פלטפורמה - אורי ורן מארחים את אורי כהן, ידיד הקהילה כבר זמן רב, כיום עובד ב-Elastic (יש מצב ששמעתם את השם איפשהו). 

השיחה מכוונת לחברה עצמה ומה היא עושה - וגם על איך היא עושה את זה: “חברה מבוזרת”, כשאורי הוא אחד העובדים הבודדים בחברה שנמצא ביום-יום בישראל.

קצת על אורי - 

אז מה זה Elastic?