אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.
נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי.

ועל גישות
LLM as a judge
הרווחת לאיבליואציה של חיפוש והמלצה

מודלי שפה גדולים אמנם עוזרים לפרודקטיביות, אבל גם של ההאקרים.

עולם הסייבר השתנה רבות מאז יציאת ChatGPT - מומחים מעריכים שמספר הפריצות גדל פי ארבעה.

בפרק זה נתן כץ יסקור לנו ארבע שיטות לניצול חולשות במודל השפה עצמו.

נדבר על גניבת מודלים, ״הרעלה״ של סט האימון והרעשה של המודל לביאס עבור מילת אקטיבציה ספציפיתץ

נתן יחלוק לנו מתובנותיו בlumin AI על תהליך המכירה לCSO בארגון, ונדבר על ההבדלים בין סיכוני open source ל״משקולות פתוחים״

לקריאה נוספת:

https://owasp.org/www-project-machine-learning-security-top-10/
https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v05.pdf

בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF.

בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.

כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI.

הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות.

וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס.

מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.

כולנו מכירים את התופעה שמודלי שפה גדולים נוטים להמציא דברים שלא היו ולא נבראו. אבל האם אפשר לכמת את איכות המודל לפי רמת ה״הזיות״ שלו?

ומה לגבי סוכנים? שם טעות בשלב אחד יכולה להשפיע דרמטית על הכלים שייבחרו בשלבים הבאים?

אירחנו את ישי רוזנברג, חוקר בתחום שמוביל את Verax AI לדבר על איך אפשר להתמודד עם בעיות האמינות של מודלים.

ומדוע לדעתו צריך להיות דקדקנים במינוח של סוגי הטעויות לפי הקונטקסט הנכון.

בר שאלתיאל מוביל את קהילת בינה מלאכותית בגובה העיניים המונה מעל 30000 אנשים. בר שיצא בשאלה מהעולם החרדי לפני כשלוש שנים גילה כמעט בטעות את כוחם של מודלי השפה הגדולים כשהתחיל לסייע לסטודנטים לכתוב עבודות אקדמיות.
מאז נכנס בר למסע של מחקר והבנה איך המנגנון עובד, ואילו פרומפטים יעילים ביותר.
יוצא לנו הרבה לדבר על מודלי שפה גדולים מנקודת המבט של החוקר, ובפרק זה נצלול לראשונה לחוויית המשתמש והbest practices שבר מלמד מהעבודה בשטח.