ExplAInable

אפשר לשלוח כמעט כל דבר לקלוד ולקוות לטוב, חוץ ממפעל. בפרק הזה של Explainable מתארח פרופ' נדב כהן, מי שהנחה באוניברסיטת תל אביב את המפגש עם סם אלטמן ואיליה סוצקבר מול אולם עם כשלושת אלפים איש, ואנחנו הולכים איתו הרבה יותר עמוק: מהמתמטיקה שמסבירה למה עומק ברשתות נוירונים בכלל עובד, ועד לשאלה מה קורה כשמודל שולט על תשתית קריטית והתולרנטיות לטעויות היא אפס.מה בפרק• איך הגיע מקורס טייס ליחידה טכנולוגית, ומשם לאלגוריתמים על מערכות פיזיות• ההרצאה של אמנון שעשוע שאחריה שלח מייל ועבר לאוניברסיטה העברית• המאמר מ-2016: למה עומק נותן יתרון אקספוננציאלי, ומה זה אומר בפועל• למה ההשפעה של תיאוריה על התעשייה עוברת הרבה פעמים דרך אינרציה• ההבדל בין לבנות AI לבין להשתמש ב-AI וכמה הוא גדול• למה מספר הנרשמים למדעי המחשב יורד, ואיך המחלקות מגיבות• פרודוקטיביות: איפה זה 1000X ואיפה זה כמעט לא נמדד• אימיוביט: טייס אוטומטי למפעלים של ייצור רציף נפט, מלט, כימיקלים, מזון ופרמה• דטרמיניזם ואקספלנביליות, וארכיטקטורות שבנויות להיות אקספלנביליות מראש• מה זה מודל עולם, ובמה הוא שונה ממודל שפה• למה הניסיון להעביר ידע ממפעל למפעל נכשל שוב ושוב• אקדמיה מול תעשייה שלוש שנים אחרי הבמה עם אלטמן וסוצקבר• ולסיום: מה הוא ממליץ לבני 16-17 שרוצים קריירה מרשימהפרקים0:00 פרופסור וגם סלב: מי זה נדב כהן2:23 מקורס טייס ליחידה טכנולוגית5:49 ההרצאה של אמנון שעשוע ששינתה כיוון10:17 למה עומק נותן יתרון אקספוננציאלי14:55 כדאי עוד ללמוד מדעי המחשב?16:37 לבנות AI מול להשתמש ב-AI24:19 אימיוביט: טייס אוטומטי למפעל27:06 פיזיקל AI: כשהמחיר של טעות גבוה29:43 מה זה בעצם מודל עולם35:30 למה הטרנספר בין מפעלים נכשל37:38 אקדמיה מול תעשייה, שלוש שנים אחרי41:52 עצה לבני 16 ומסיבת קלודעל האורחפרופ' נדב כהן התגייס לקורס טייס, ואחרי שנתיים חתם ויתור ועבר ליחידה הטכנולוגית מצו״ב, שם התחיל לעסוק באלגוריתמים מתמטיים על מערכות פיזיות. אחרי השחרור הקים יחד עם אחיו גוף ייעוץ בתחום האירוספייס והדיפנס, שהפך לימים לחברה שנמכרה למלנוקס — היום NVIDIA. למד הנדסת חשמל ומתמטיקה בטכניון במסלול מצטיינים, ואחרי הרצאה של אמנון שעשוע עבר לאוניברסיטה העברית לתואר שני ולדוקטורט במסלול ישיר, שם פרסם סדרת מאמרים על השקילות בין רשתות נוירונים לפירוקי טנזורים. אחרי הדוקטורט עבר לפרינסטון, והקים עם שותפים את אימיוביט (Imubit), שבונה אופטימיזציה לייצור במפעלים של ייצור רציף. כיום פרופסור, מלמד קורסים מתקדמים ומנחה דוקטורנטים.

המודלים של היום מייצרים תמונות כמעט מושלמות, ודווקא בגלל זה הבעיה נעשתה קשה יותר. בפרסום תמונה יפה היא לא בהכרח תמונה נכונה: צריך את הלוגו המדויק, את המוצר הנכון, את צבעי המותג, את הגופן ואת הטקסט שחייב להופיע על הבאנר. בפרק הזה שחף מספר על ויז'ואל הרנס, כלומר כל השכבה שעוטפת את מודל הג'נרציה ומוודאת שמה שיוצא לאוויר באמת עומד באילוצים של המותג, של המוצר ושל הפאבלישר.מה בפרק- למה הבעיה עברה מלג'נרט תמונה טובה לג'נרט תמונה שעובדת ונכונה לעסק- אייפון במקום סמסונג, צבעי מותג, גופן והיררכיה: מה משתבש גם כשכתוב בפרומפט- אילוצים קשיחים שההחלטה עליהם בינארית מול אילוצים רכים שהם כיוון מועדף- למה StyleGAN ו-ControlNet נותנים שליטה חלקית בלבד כשהאילוצים משתנים כל הזמן- איפה בכלל מתועדים הכללים העיצוביים, ואיך מודל עוזר לנסח אותם מדוגמאות חיוביות ושליליות- מה ההבדל בין הרנס של קוד, כמו קלוד קוד וקודקס, לבין הרנס חזותי: הטסטים והסביבה- איך חוסכים כסף בבדיקות: OCR לזיהוי טקסט, מיקום וגודל, ושתילת לוגו דרך הקוד- ג'נרציה בשכבות: Adobe Firefly, מודלים בקוד פתוח שמייצרים SVG, ומה עדיין בגדר מחקר- מה אומר המאמר Mirror in the Model (MIMO): סוכני יצירה, סוכני ולידציה ולופ של וריאציות- האם בכלל צריך Multi-Agent, או שאפשר סוכן אחד עם תלות דטרמיניסטית בין השלבים- ה-Bitter Lesson של ריצ'רד סאטן: האם המודלים פשוט יפתרו את הבעיה בעצמם- למה עולם הפרסום עשיר במיוחד באילוצים: רגולציה, מתחרים, פאבלישרים ודיסקלאמרים- איך בונים ויז'ואל הרנס מאפס, ואיפה נכנס אדם בלופפרקים0:00 ויז'ואל הרנס: פתיחה והצגת האורח1:14 אייפון במקום סמסונג: מה משתבש בפרומפט2:33 הסיגריה של סבתא והמודל שהחליט לבד3:07 אילוצים קשיחים מול אילוצים רכים4:09 StyleGAN ו-ControlNet: שליטה חלקית בלבד6:03 איפה כתובים האילוצים ואיך מודל מנסח אותם8:55 הרנס של קוד מול הרנס חזותי: הטסטים10:07 OCR, לוגו דרך הקוד וחיסכון בעלויות13:34 המאמר Mirror in the Model: סוכנים ולופ17:54 Bitter Lesson: האם האתגר כבר נפתר21:16 לבנות ויז'ואל הרנס מאפס, ואדם בלופ25:36 מה כדאי לקרוא והטיפ לסיוםעל האורחשחף, בוגר תואר ראשון ושני בהנדסת תעשייה וניהול מאוניברסיטת בן גוריון בהתמחות Data Science, עובד כשנה בתחום הפרסום ובונה ויז'ואל הרנס לג'נרציית קרייטיב. הוא גם זמין לשאלות, רק לא כולם ביחד.קישוריםהמאמר Mirror in the Model (MIMO): https://arxiv.org/abs/2507.03326ריפו הקוד הפתוח שמרכז כללים עיצוביים ודוגמאות מחברות אמיתיות:https://github.com/nexu-io/open-design ה-Bitter Lesson של ריצ'רד סאטן: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdfלהאזנה לפרק בספוטיפיי: https://open.spotify.com/show/54gAppYYCFoKNP2GqL6coFאקספליינבל, הפודקאסט המוביל בישראל לכל מה שמעניין ב-AI, דאטה סיינס ולמידת מכונה.

הפודקאסט המוביל בישראל לדאטהסיינס ולמידת מכונה ExplAInable! ️ ד"ר מייק ארליכסון ושמעון מויאל מארחים את גלעד לוי, מייסד הסטארט-אפ Manifold מניפולד.גלעד הוא לא אורח רגיל בגיל 3 הוא כבר חישב חזקות בראש, ובגיל 17 סיים תואר ראשון במדעי המחשב בטכניון. בגיל 18 הוא כבר העביר את הקורס הראשון בארץ על טרנספורמרים. בשיחה מרתקת זו, אנחנו צוללים לתוך הבעיות המבניות של מודלי השפה של היום, ומדוע גלעד בחר לוותר על מסלול של דוקטורט באקדמיה לטובת הקמת חברה שתפתור את אחת הבעיות הגדולות בתחום: Learning Continual למידה רציפה.נושאים מרכזיים שדיברנו עליהם בפרק:● הדרך הלא שגרתית של גלעד: ממתמטיקה בגיל 3 ועד תואר בטכניון לפני גיל .18● למה אקדמיה היא כבר לא המקום לחקר מודלי שפה ענקיים )LLMs): הפער בין המשאביםבתעשייה למשאבים באוניברסיטאות.● המוח האנושי לעומת AI: בני אדם זוכרים מידע מטראומה או התרגשות קלה לנצח, בעוד מודליםזקוקים לכמויות דאטה עצומות וסובלים מ"שכחה" )forgetting Catastrophic).● מהי למידה רציפה )Learning Continual ?)החזון של Manifold להפוך מודלים לכאלה שלומדיםומתעדכנים כל הזמן, מבלי לאמן אותם מחדש מאפס.● מרוץ החימוש של חברות הענק: למה המרדף אחרי מודלים גדולים יותר ובנצ'מרקים לא בהכרחבונה "חפיר" )Moat )טכנולוגי אמיתי למוצר.● הזווית הציונית: למה להקים חברת חזית-AI דווקא בישראל ולהילחם על בריחת המוחות לסיליקוןואלי ולונדון.אל תשכחו לעשות לייק, להירשם לערוץ וללחוץ על הפעמון כדי לא לפספס את הפרקים הבאים!

ברוכים הבאים לעוד פרק של "אקספליינבל", הפודקאסט המוביל בישראל לדאטה סיינס ולמידת מכונה. בפרק הזה, ד"ר מייק ארליכסון מארח את שמעון מויאל לשיחה שכל איש טכנולוגיה, פיתוח ודאטה חייב לשמוע.

כולם מדברים על "סוכני AI" (Agents) שיעשו במקומנו את כל העבודה ויאפשרו לנו לשבת כל היום בים, אבל האם זה באמת המצב? צללנו אל מאחורי הקלעים של מהפכת הסוכנים, וגילינו מציאות מורכבת, יקרה ולפעמים גם קצת מסוכנת.

האמת הכואבת על הכסף: מתברר שלהריץ סוכני AI זה עסק יקר בטירוף. דיברנו על כך שהרצת מאה סוכנים במקביל עלולה לעלות מיליון דולר בחודש, ושהקמת מערכת "מולטי-אייג'נט" בארגון יכולה להגיע לחצי מיליון דולר. האם חברות ה-AI מסבסדות אותנו והחגיגה עומדת להיגמר?

סוכני כאוס ואנטרופיה: מודלים של שפה הם סטטיסטיים והסתברותיים, מה שאומר שהם עלולים לעשות טעויות ולהכניס "בלאגן" (אנטרופיה) למערכות תוכנה מורכבות. שמעון משתף סיפור מטורף על סוכן AI שיצר פאניקה ברשת כשהעלה Pull Request של מיליון שורות קוד בניסיון להמיר פרויקט משפה אחת לאחרת, ללא שום פיקוח אנושי.

מרד הסוכנים - סכנות האבטחה וה-Jailbreak: מה קורה כשנותנים ל-AI לנהל מכונת משקאות, ולקוחות מתוחכמים מצליחים לשכנע אותו לחלק פחיות בחינם או ב-99% הנחה? למה חייבים גורם אנושי שיפקח על הסוכנים האלו בזמן אמת?

הפרדוקס הכלכלי של ההייטק: חצי מתעשיית ההייטק מוכרת מוצרים (כמו ג'ירה, סלאק ואופיס) לחצי השני. אם הסוכנים יחליפו את כל העובדים האנושיים ותהיה אבטלה, מי בדיוק ישתמש בתוכנות האלו וישלם עליהן?

הסוף של Vendor Lock-in? הפחד של ארגונים להסתמך רק על חברות ענק כמו OpenAI או אנטרופיק (שיכולות לשנות מודלים או לחסום גישה פתאום), והמעבר לשימוש במודלים מקומיים או פתרונות ניתוב

טיפ הזהב שלנו למתכנתים: אל תישארו מאחור. מי שישרוד הוא לא מי שרק כותב קוד, אלא מי שיודע להסתגל, להבין איך סוכנים עובדים, ולהפוך למנצח שמנצח על התזמורת הזו.

האזנה חובה לכל מי שרוצה להבין לאן התעשייה שלנו באמת צועדת.

שתפו את הפרק עם החברים שלכם שעדיין חושבים שה-AI ייקח להם את העבודה מחר בבוקר!

בפרק זה אירחנו את אמיר לבנטל ורון אליאס לסיכום כנס "Berlin Buzzwords" ה-17, המתמקד בעולמות החיפוש, הדאטה סטרימינג והתשתיות בקוד פתוח.

אבולוציית החיפוש: סקירה מהחיפוש הלקסיקלי הבסיסי, דרך אמבדינגים ו-BM-25, ועד לשילוב ה-LLM והחיפוש ההיברידי של ימינו.

- ה-Agentic Search: דיון מרתק על האופן שבו סוכנים (Agents) משנים את תהליך החיפוש מפעולה דטרמיניסטית לתהליך איטרטיבי (ReAct), והמשמעות של "זכרון סוכן"

- ה-(Agentic Memory) לשיפור התאמת התוצאות לצרכי המשתמש.- טרנדים טכנולוגיים: נגענו במושגים כמו ColBert, RRF, MMR, ו-Worm-hole vector

- דיברנו על האתגרים בביצועים ובאיכות בחיפוש מונחה סוכנים.

"הציעו לי להיות אחד מ-20 העובדים הראשונים של וויקס. אמרתי לא... אותו דבר קרה לי עם מאנדיי."

כולנו אוהבים לדבר על ההצלחות שלנו, אבל בפרק החדש של Explainable החלטנו לשים את הפילטרים שללינקדאין בצד ולדבר על המציאות.

אירחנו את שחר פולק (Imagen- VP R&D, ולשעבר אקזיט לגוגל עם Breezometer) לשיחה כנה על הקריירה שלו, הטעויות בדרך, ואיך בונים את הפודקאסט הכי מואזן בהייטק הישראלי ("מפתחים מחוץ לקופסה").על מה דיברנו?

- הליינאפ, חוקי העריכה הנוקשים ("ציון מתחת ל-75 לא עולה לאוויר"), והסודות מאחורי ניהול קהילה של אלפי מפתחים.

- למה הוא מלצר בזמן שהיה פאונדר של סטארטאפ, ואיך מנטור אחד שינה לו את כל התפיסה העסקית.

- התפיסה שלו לגבי Work-Life Balance ("תנור עם 4 להבות שאי אפשר להדליק את כולן על המקסימום").

ולמה הכלל הכי חשוב בקריירה שלו הוא תמיד להיכנס לחדר בגישה של "ג'וניור".

האזינו עכשיו לפרק המלא בתגובה הראשונה!

מאחורי הקלעים של תעשיית הבינה המלכותית והדברים שחברות הענק מעדיפות שלא נדבר עליהם: עם אלכס פלג

מה מחכה לכם בפרק?

הדרמה של אנטרופיק: מה בדיוק קרה סביב "מיתוס ופייבל", ולמה האירוע הזה משנה את כל מה שחשבנו על פיתוח ושחרור של מודלי שפה?

פרדוקס הגישה: למה דווקא הגבלת הגישה למודלים מתקדמים (Closed Source) עלולה לייצר בעיות אבטחה חמורות הרבה יותר מהסכנות של מודלים פתוחים.

מלחמת ארה״ב-סין: איך המרוץ ל-AGI משפיע על הגיאופוליטיקה העולמית, מה תפקידה של הרגולציה הממשלתית, ומי באמת מוביל בקרב המוחות הזה.

האקינג ובטיחות מודלים: איך נראות מתקפות סייבר על מודלים של בינה מלאכותית כיום, ואיפה נקודות התורפה שהתעשייה עדיין לא פתרה.

בפרק מיוחד ומרתק אנחנו מארחים את רועי שנברג, איש Data Science ו-Machine Learning עם מעל 10 שנות ניסיון (ומפתח הפרויקט PUMBEE להקראת טקסט בעברית), לשיחה עמוקה על הצלחתו לשבור שלושה שיאי מהירות בתחרות ה-NanoGPT.

תחרות ה-Speedrun, שהתפתחה בעקבות סדרת Zero to Hero של אנדריי קרפתי (ממייסדי OpenAI), מאתגרת מפתחים לאמן מודל שפה שווה ערך ל-GPT-2 על דאטה-סט FineWeb2 בזמן הקצר ביותר, על גבי תשתית של 8 מעבדי H100. רועי משתף אותנו בכל שלבי הדרך – מהרעיונות הטכניים האמיצים ועד למשברים שכמעט גרמו לו לוותר

בפרק הזה מייק ארליכסון מארח את יונתן קריינר לשיחה על עולם הסייבר, על האתגרים שמול ארגונים בעידן של מתקפות מתוחכמות יותר, ועל הדרך שבה מוצרי אבטחה חדשים מנסים לזהות סיכונים לפני שהם הופכים לאירוע אמיתי.השיחה נוגעת בפער שבין פתרונות סייבר מסורתיים לבין הצורך במערכות חכמות, מהירות ומדויקות יותר, שמסוגלות לעזור לצוותי אבטחה להבין מה באמת קורה בסביבה שלהם, לתעדף התרעות, ולפעול בצורה יעילה יותר מול איומים.במהלך הפרק יונתן משתף על החשיבה מאחורי המוצר שלו, על הבעיה שהוא מנסה לפתור, על האתגרים בבניית מוצר סייבר בעולם אמיתי, ועל מה שנדרש כדי להפוך טכנולוגיה טובה לפתרון שמייצר ערך ממשי ללקוחות.עקבו אחרינו גם יוטיוב:

https://www.youtube.com/@explainable-podcast/videos

#dlp#ai #security #llmsecurity #datascience #datasecurity

איך לוקחים שפה מורכבת ועשירה כמו עברית ומלמדים מודל בינה מלאכותית לדבר אותה שוטף? ולמה דווקא המודל של אינבידיה הוא זה שניצח את Llama ואת המודלים של IBM במבחן העלות-תועלת?

בפרק החדש של אקספלינבל, מייק מארח את שארל ויינברגר (מוביל פיתוח ב-AI Next של PWC) ונעם קייזר (מפתח בצוות) לשיחת עומק על מאחורי הקלעים של פרויקט אימון מודל השפה בעברית: פרויקט ששבר את הרשת עם 30,000 הורדות ו-4 שחרורי גרסאות בשבוע אחד בלבד.

בפרק נדבר על:

1. אתגר השפה העברית: למה המורפולוגיה העברית עושה צרות לטוקנייזרים הסטנדרטיים, ואיך מנצחים את זה.
2. מלחמת המודלים: למה הצוות בחר דווקא ב-"נימטרון" (Nemotron) של Nvidia, ולמה מודלים פופולריים כמו Aya, Llama וגרנית נשארו על רצפת חדר העריכה בגלל יחסי דחיסה גרועים.
3. משבר "אפקט הלוס": הרגע המלחיץ שבו מדדי השגיאה ירדו, אבל גם הביצועים צללו ואיך הגדלת ה-Batch ל-16.5 מיליון טוקנים הצילה את הפרויקט.
4. בנצ'מרק מול המציאות: למה ניצחון במבחנים סינתטיים הוא לא תמיד מה שהמשתמשים מחפשים, והתובנות ממבחן הקהל (Arena).
5. תשתיות של אלופים: איך המעבר ממעבדי H200 ל-Blackwell 300 החדשים של AWS חתך את זמני האימון פי 7 והוזיל את העלויות לעשרות אלפי דולרים בודדים.
6. איך נכנסים לתחום? הטיפים של ישראל ונועם למי שרוצה לפתח קריירה באימון מודלים למה מיינדסט מחקרי ושליטה בתשתיות (Docker, Sharding, AWS) חשובים לא פחות מאלגוריתמיקה.