ExplAInable

על חוקי הסקייל של מודלי שפה עם ד״ר ג׳וני רוזנפלד מMIT


Listen Later

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.

חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?

תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.

נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.

דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.

והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.

סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.

...more
View all episodesView all episodes
Download on the App Store

ExplAInableBy Tamir Nave & Uri Goren

  • 5
  • 5
  • 5
  • 5
  • 5

5

1 ratings


More shows like ExplAInable

View all
עושים היסטוריה עם רן לוי Osim Historia With Ran Levi by רשת עושים היסטוריה

עושים היסטוריה עם רן לוי Osim Historia With Ran Levi

160 Listeners

גיקונומי by ראם שרמן ודורון ניר

גיקונומי

87 Listeners

עושים חשבון Osim Heshbon by רשת עושים היסטוריה

עושים חשבון Osim Heshbon

20 Listeners

חיות כיס Hayot Kiss by כאן | Kan

חיות כיס Hayot Kiss

141 Listeners

המשחק הגדול by ניצן דוד פוקס

המשחק הגדול

46 Listeners

הפודקאסט של גיא קצוביץ' by גיא קצוביץ'

הפודקאסט של גיא קצוביץ'

10 Listeners

עושים טכנולוגיה by רשת עושים היסטוריה

עושים טכנולוגיה

32 Listeners

מנועי הכסף by Calcalist כלכליסט

מנועי הכסף

35 Listeners

כסף בקיר by גלובס - Globes

כסף בקיר

16 Listeners

בזמן שעבדתם by mako מאקו

בזמן שעבדתם

95 Listeners

אחד ביום by N12

אחד ביום

290 Listeners

השקעות לעצלנים - פודקאסט על כסף, השקעות והחיים עצמם by תמיר מנדובסקי

השקעות לעצלנים - פודקאסט על כסף, השקעות והחיים עצמם

29 Listeners

המנגנון - The Mechanism by כאן | Kan

המנגנון - The Mechanism

17 Listeners

פשוט AI by Benny Farber

פשוט AI

12 Listeners

TrashTech (טראשטק) by עמרי ברק ויואב צוקר

TrashTech (טראשטק)

5 Listeners