Hidden layers

פרק חדש בפודקאסט והפעם פרק מיוחד על אחזור מידע סמנטי בעברית ועל התחרות של מפא"ת בתחום.

בפרק ראיינתי את טל ואמיר ממפא"ת ודיברנו על תחרות הדאטה החדשה שנפתחה ממש בימים האחרונים. התחרות עוסקת באתגר מאוד מיוחד: היכולת לאחזר מידע רלוונטי מטקסטים בעברית. בפרק דברנו על התחום עצמו, על למה זו עדיין בעיה לא פתורה בעברית (וגם באנגלית), על מודלים נפוצים בתחום ועל מי יכול לקחת חלק בתחרות.

לינק לתחרות: https://www.codabench.org/competitions/9950/

חגי חוזר אלינו בפעם השנייה והפעם בתפקיד חדש כ-SVP AI Inference בחברת Cerebras Systems. למי שלא מכיר, חברת Cerebras היא בין המתחרות הכי גדולות של Nvidia והיא מפתחת שבבים שמתאימים גם לאימון מודלים וגם להרצה שלהם. הם בנו כמה מחשבי על ברחבי העולם וגם Perplexity ומיסטרל בחרו בחומרה שלהם כדי להריץ את המודלים שלהם.

בשיחה דברנו על ההבדלים בינם לבין המתחרות, איך חומרה יכולה להשפיע קצב ג'ינרוט הטוקנים, על הרצה של מודלים בפרודקשיין וגם על כל תחום ה-Inference. 

הפרק הזה הוא בשיתוף Sima.ai והיה לי העונג לראיין את הארי קרוגר,  Head of Sales and President Automotive בחברה.

לחברת Sima.ai יש באמת סיפור מרתק: הם קמו לפני למעלה מ-5 שנים וגייסו כ270 מיליון דולר כדי לפתח שבבים שמאפשרים למודלי AI לרוץ ביעלות על חומרת קצה.

בשיחה המרתקת עם הארי דברנו על תהליך יצור השבבים (הם הצליחו להפתיע אפילו את TSMC), על מה זה בכלל אומר להריץ מודלים על הקצה ולמה זה כל כך חשוב, על אילו אפשרויות חדשות נפתחות ברגע שיש שבבים חזקים מספיק וכמובן, איך לא, על Inference ועל החשיבות של התחום כולו.

ראיון שקיימתי עם רן טסלר, Director of Solutions Architecture בחברת AWS על כל הפעילות שלהם בתחום ה-AI באופן כללי וספציפית על המאמצים שלהם בעולמות ה-GenAI. דברנו על הדרך שAWS עברה בשנים האחרונות ובאילו מוצרים הם הכניסו את יכולות ה-AI השונות שפותחו באמזון. דברנו גם על פלטפורמת בדרוק שלהם ובכלל על כל הכלים שיש לחברות וארגונים כדי לבנות שירותי GenAI שונים.

קשה להתעלם מהשנה האחרונה של אורקל.

החל מכך שחברת OpenAI בחרה בחומרה שלהם להריץ את המודלים שלה ועד לתהליך בניית מחשב העל הגדול ביותר בעולם.

בפרק המיוחד הזה עם דני ווינר, Director Cloud Solutions בחברת אורקל, ניסתי להבין לעומק איך אורקל פועלת בתחום ה-AI ומה האסטרטגיה שלה בתחום.

דברנו על מה הבידול שלהם בעולם שכולם "מוכרים GPU", על המוצרים שלהם לאנשי דאטה וגם על מה התוכניות שלהם לעתיד.

והכי חשוב: הבנתי לעומק שוב את החשיבות של תחום ה-Inference ועד כמה זה יהיה שם המשחק ב-2025.

(הפרק הוקלט לפני כנס GenML)

ניהלתי שיחה מרתקת עם גיא פייגנבלט מאיביי על העולם המורכב והמפתיע של בינה מלאכותית במסחר אלקטרוני. צללנו לאופן שבו איביי מנצלת בינה מלאכותית גנרטיבית ומודלי שפה גדולים לכל דבר - החל מאוטומציה של תיאורי מוצרים (תארו לעצמכם העלאת תמונה וקבלת מודעה מוכנה!) ועד לבניית עוזר קניות.

חקרנו גם את האתגרים הייחודיים ביישום טכנולוגיות אלה בשוק עם מיליארדי פריטים ומיליוני מוכרים, במיוחד בכל הנוגע למגוון האתגרים וההזיות של מודלים. אם מעניין אתכם היישום המעשי של בינה מלאכותית בקנה מידה גדול, הפרק הזה מציע נקודת מבט מעניינת (הפרק הוקלט לפני כנס GenML).

השבוע היה לי הכבוד לארח את גל צ'צ'יק, Sr. Director of AI Research at NVIDIA ופרופסור באוניברסיטת בר-אילן. ניהלנו שיחה מעולה ודיברנו על **NVIDIA כחברת מחקר**.

תופתעו לגלות על כל המחקר המרתק שנעשה ב-NVIDIA ואיך הם אפילו משתמשים בלמידת חיזוק (RL) כדי לשפר את ביצועי מרכזי הנתונים שלהם. זהו פרק מצוין לכל מי שרוצה לקבל נקודת מבט ייחודית זו על NVIDIA.

הפרק הזה הוא עם עידו פרחי, Senior Data Scientist בחברת אינטואיט.

הפרק עם עידו היה מרתק במיוחד כי הוא היה גם קצת שונה. דברנו לא רק על איך בונים מוצרי GenAI בסקייל עצום, אלא גם איך מאבטחים אותם.

דברנו על המחקר שהם עושים בתחום הסייבר של מודלי GenAI ואיך חברות יכולות לבנות אפליקציות בתחום, אבל כאלה שיהיו בטוחות יותר.

פרק חובה לכל מי שמתכנן להעלות לפרודקשיין פיתוח בעולמות ה-GenAI. על כל זה ועוד ידבר עידו גם בכנס GenML שלנו בחודש הבא 🙂

הרשמו לכנס שלנו: https://machinelearning.co.il/lp-events/genml-2024/

הפרק הוא עם מושיקו אברהם, Customer Engineer בגוגל קלאוד - פודקאסט Hidden Layers.

דברנו על מודלי השפה שלהם (ג'ימיני) ועל הייחודיות שלהם לעומת המתחרים, דברנו על ה-TPUים של גוגל (ה-GPU שגוגל פיתחה מאפס) ועל חברות שבנו מודלים מעניינים על הענן שלהם (פרגנו ל AI21 ולייטריקס).

בינתיים מוזמנים לשמוע את הפרקים הקודמים:

ספוטיפי: https://t.co/1LdjK5Dgix

יוטיוב: https://youtu.be/ILzz6Ky4358?si=eh6b2F_oetUBfohg

הפרק הוא עם רונן דר, המייסד וה-CTO של חברת RunAI שעוזרת לחברות להשתמש בצורה טובה יותר במשאבי ה-GPU שיש להם.

בפרק הזה דברנו על הדרך שבה המוצר שלהם עובד, על איך מהפכת ה-GenAI השפיעה עליהם, מה קורה מאחורי הקלעים במשבר השבבים וגם שאלת ה-700 מיליון הדולר: האם חברת Nvidia אכן רוכשת אותם?

מי שרוצה לשמוע עוד את רונן, מוזמן להירשם לכנס שלנו, GenML שיתקיים ב10.12.2024 בבית ציוני אמריקה.