ExplAInable

מירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים.לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם.
רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב.
מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון.
על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.

עכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו.
פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.

בוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן - ידבר איתנו על דווקא על נושא אחר: Soft skills.מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים - הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר.
נדבר על אתגרים נפוצים בחיי הDS ועל איך נכון לבנות מצגת בצורה לא תשעמם את המאזינים.בוריס הוא גם המנחה של הפודקאסט הפופולארי ״השבוע במזרח התיכון״, שם תוכלו להיווכח איך בוריס מיישם את התאוריה בפועל.קישור לספר שבוריס הזכיר

בפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning.
דיברנו על בעיית דלילות הסיגנל, ועלות התיוג.
למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג.
לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה.
דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות סיאמיות, למידה ניגודית ואוגמנטציות.
וכמובן, האתגר הגדול ביותר של התחום - מציאת דוגמאות שליליות חזקות.

יש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים.
בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום.
נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה.
נכסה אלגוריתמים כמו k-annonimity ונדבר על Differential privacy שהיא הסטנדרט היום בתחום.

הרעיון המרכזי בפרטיות דיפרנציאלית הוא הכנסת רעש מבוקר, כזה שיפריע לזהות אינדיבידואלית אבל לא יפריע למודל להתאמן.
נדבר על שיטות כמו DP-SGD שמכניסים את הרעיון הזה לתוך צעדי הגרדיאנט באימון רשתות.

קישורים:

• The netflix prize
• Very recent example from the pentagon
• How one man’s pay-to-use toilet gag revealed Google Maps can be used to track people
• Sweeney’s attack
•  

בפרק זה חן מרגלית סיפר על פיתוח
SEC by LSportsהבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות - ולא שפה השגורה במגרשי הכדורגל.
חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.

נהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח.אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים.
כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק. דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים.בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים.ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות

רשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים.מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי.בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit.נדבר על שתי ההרחבות הנפוצות:Random Forest & Gradient Boosted Trees
והיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן

נדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן.
אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות.
בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים.
בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.