ExplAInable

By Tamir Nave, Mike Erlihson, Uri Goren, Hila Paz HerszfangTechnology

ExplAInable episodes

February 29, 2024 [56] Mamba סיכום מנהלים ותחזיות לעתיד,עם מייק ארליכסון
עולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו.
פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך.
מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.
46 min
February 29, 2024 [55] Mamba סקירה טכנית עם מייק ארליכסון
יש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא.
פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה.
נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין.
הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.
50 min
February 10, 2024 [54] עולם ללא עוגיות - פרק הפוך עם דין פלבן
פרק משותף עם דין פלבן מ
The MLOps Podcastעל הנושא שמעסיק את עולם הפרסום היום.
ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות).לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה.
בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.
34 min
January 14, 2024 [53] למידה מולטי מודאלית עם ד״ר חן חג׳ג׳
מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney.נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה.נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.
28 min
December 29, 2023 [52] ניהול פרויקטי דאטא סיינס עם חן קרני
ניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב.
בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה.איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.
23 min
December 19, 2023 [51] טרנספורמרים בעיבוד תמונה Visual Transformers
טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות?אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה.בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.
קישורים
Attention is All You Need
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
End-to-End Object Detection with Transformers
Vision-Transformer-papers

https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a
https://paperswithcode.com/methods/category/vision-transformer
30 min
December 03, 2023 [50] על אינטלגנציה מלאכותית בעולם המשפט - עם עומר חיון
לפני כשש שנים עומר חיון ואורי גורן התחילו הרפתקאה בעולם הLegal tech והקימו את BestPractix
בסט פרקטיקס התמקדה בשלב הטיוטות של החוזים, והיוותה כלי עזר לעורכי דין לזהות ״אנומליות״ בחוזים (שבדרך כלל די סטנדרטים), והצעה של אלטרנטיבות מקובלות יותר.בשנת 2020 בסט פרקטיקס נמכרה לLitera Systems האמריקאית, ועומר הועבר להמשך הפיתוח. הרבה השתנה בעולם הAI מאז, ולרשותנו היום כלים חזקים כמו ChatGPT שמקצרים את תהליך העבודה המשפטית.פרק זה הינו שיחה פתוחה בין אורי לעומר על האתגרים בעולם המשפט, והעתיד לאור היכולות החדשות בעולם הNLP.
37 min
November 23, 2023[49] AI Junk - איך עושים למידת מכונה עם קרטון ביצים
דיברנו הפעם על פרויקט ai-junk המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון.דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :)הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו כאן ונעדכן אתכם.
קישורים
Ai-junk
כתבה למטיבי לכת בעברית על RL
DeepMind is Using AI to Teach Robots to Play Soccer
26 min
November 05, 2023 [48] מה עושים כשיש מעט נתונים - עם נתנאל דוידוביץ
נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.
גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?
נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון
Label spreading, transfer learning, kde
או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.

28 min
October 24, 2023 [47] מודלי שפה ופלט רצוי
יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.
למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו
Json / Data Class
נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.
ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.
ספריות שימושיות:
JSONFormer - https://github.com/1rgs/jsonformer
OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates

O
20 min

About ExplAInable

From the publisher's feed

תמיר נווה, אורי גורן, מייק ארליכסון והילה פז הרשפנג מארחים מומחים מעולם הבינה המלאכותית.
האזינו לשיחות עם חוקרי AI, דאטה סיינטסים, מהנדסי ML ומובילים בתעשייה, שמביאים לכם את האתגרים, המחשבות…