מדברים פתוח

בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא.

בפרק סיום לעונה זו אנחנו צוללים לעולם שבו הביולוגיה והבינה המלאכותית נפגשות. אירחנו את פרופ' ניר שביט, ממייסדי Neural Magic וחוקר בעל שם בתחום מדעי המחשב, לשיחה על הקשר העמוק בין המבנה של המוח האנושי לבין הדרך שבה אנו מפתחים מערכות בינה מלאכותית.

שוחחנו על המושג Sparsity—איך המוח יודע לעבוד בצורה חסכונית ויעילה, ואיך הרעיון הזה הופך למפתח בהאצת מודלים של למידת מכונה. הבנו למה רשתות נוירונים קלאסיות שונות מאוד מהמוח שלנו, ואיך אפשר לבנות מודלים יעילים יותר בהשראת מבנים מוחיים.

דיברנו גם על הסיפור של Neural Magic—איך נולדה חברה שמצליחה להריץ מודלים של בינה מלאכותית על מעבדים רגילים (CPU) במקום על כרטיסי GPU יקרים, ואיך זה משנה את חוקי המשחק בתחום.

פרק שמחבר מדע, טכנולוגיה והשראה לעתיד של הבינה המלאכותית.

בפרק שוחחנו עם אסף מ-IBM Research, ממובילי מודל Granite. הסברנו מהו מודל פתוח: ארכיטקטורה, קוד אימון, משקולות ונתונים, ולמה ברוב המקרים רק שני החלקים הראשונים זמינים. דיברנו על רישיונות שונים, מ-MIT החופשי ועד Llama-License המחייב לשמור את השם. הסברנו שהכסף עבר מאימון יחיד ויקר לאינפרנס מתמשך, ולכן ענקיות בונות חוות GPU ומציעות תשתיות כמו Watsonx, VLLM ו-MCP. ראינו כיצד קהילה יכולה לתרום קוד ו-synthetic data בעזרת InstructLab ולמה תשתיות פתוחות כגון LangChain חשובות. לבסוף נגעו באתגרים: Tool-Calling, פרטיות, פרסומות ממוקדות והצורך הארגוני להריץ מודלים מקומיים. הפרק מדגיש את קצב ההתקדמות המסחרר ומעודד מהנדסים ללמוד לשאול שאלות נכונות ולשמור על גמישות.

בפרק הזה אילן “שם על האש” את ג’וש לשיחה מעמיקה על MCP – Model Components Protocol, ה־באזז החם שמחבר מודלי LLM לעולם האמיתי. השניים עוברים מהיסטוריית החודשיים הסוערת של הפרוטוקול ועד הדילמות שמטרידות כל צוות Dev ואנשי SecOps:

מה זה MCP ולמה הוא מהפכני?

איך קהילת המפתחים הגיבה לכלי החדש?  

מה הם אתגרי העומדים בפני אנטרפרייז שרוצים לאמץ את הטכנולוגיה  

מדוע יש יותר  חשיפה לסיכוני “מודלים סוררים” 

ולסיום איזה הזדמנוית נוצרה  למפתחים

השורה התחתונה: במציאות שבה טרנדים מתחלפים במהירות, היכולת ללמוד ולהסתגל היא הסקיל הכי חם. MCP הוא דוגמה חיה לכך – והוא כבר משנה את הדרך שבה אנחנו מפתחים ומאבטחים מערכות מבוססות AI. 

בפרק הזה של „מדברים פתוח” אירחנו את ד״ר רועי צזנה – עתידן, חוקר מגמות ומחבר „המדריך לעתיד” – לשיחה סוערת על העתיד שמתרחש ממש עכשיו.

למה קצב הפיתוח בבינה מלאכותית מרגיש כמו „לוח שח‑מט אקספוננציאלי” ולמה חצי שנה כבר נחשב „טווח ארוך”.

נקודת הסינגולריות: האם נעבור אותה עד 2030, ומה יקרה ביום שבו מודל מאמן מודל חזק ממנו.

מתי אלגוריתם יתחיל „לרמות” בלי לכתוב על כך ב‑chain‑of‑thought, ולמה אנחנו צריכים מהנדסי AI Supervision ולא רק Prompt Engineers.

הצד האופטימי: האצת פיתוח תרופות, חיזוי אסונות ומנועי חלל חכמים – „תקופה של ניסים”.

הצד המפחיד: סוכנים אוטונומיים שכותבים מחדש קבצים, משנים תנאי שירות או מפתחים „מטרת‑על” משלהם.

ומה יישאר לנו, לבני‑האדם, לעשות כשהרובוטים האומנואידיים יגדלו את השוק ל‑30 מיליארד $? רועי מסביר מדוע חשיבה ביקורתית וניהול מערכות מורכבות יהיו הכישורים החיוניים של הדור הבא – ואיך עדיין נמצא דרכים להתחרות, ליצור וליהנות.

אז שימו אוזניות, הגבּרו ווליום, והצטרפו אלינו למסע בין ההזדמנויות והסכנות של עידן ה‑AI המואץ.

- הבלוג של רועי - המדריך לעתיד 

בפרק הזה של “מדברים פתוח” אנחנו מארחים שוב את שון פז, ראש קבוצת Solution Architects ב‑Red Hat, לשיחה כנה על הדרך שבה ארגוני אנטרפרייז מטמיעים יכולות AI. דיברנו על הפער בין ההייפ למציאות, על יוזקייסים פנימיים שמגבירים פרודוקטיביות, המחסור ב‑GPU, סיכוני אבטחה והדילמה הנצחית Build‑לעומת‑Buy. איך מודדים הצלחה, מהו AI Center of Excellence, ולמה מפתחים לא יישארו בארגון שאין בו קו‑פיילוט? כל התובנות – בפרק אחד.

פרק חגיגי לפסח של "מדברים פתוח" עם קונספט מיוחד – אתם שאלתם, ואנחנו ענינו! אילן וג'וש אספו שאלות מהמאזינים על הנושאים החמים ביותר בעולם הבינה המלאכותית:

• האם בעתיד נוכל לזהות תוכן סינתטי ו Deepfake, ומה הסיכונים הכרוכים בכך?

ועוד 

בפרק הזה של "מדברים פתוח" אנחנו מארחים שוב את לירן טל, Developer Advocate בסניק ומומחה לאבטחת מידע, לשיחה מרתקת על סכנות ופרצות אבטחה בעולם ה-LLMs וה-AI. נסקור את סוגי המתקפות החדשות שנוצרו עם ההייפ סביב המודלים, כמו Prompt Injection ו-Data Poisoning, נדבר על איך אפשר להתגונן מפני פרצות כאלה, וננסה להבין איך לא חוזרים שוב על טעויות העבר. הצטרפו אלינו כדי להכיר את הסיכונים שאולי אתם אפילו לא מודעים להם – וכיצד להיזהר בפיתוח אפליקציות מבוססות AI.

בפרק זה התעמקנו בשאלות קריטיות סביב בינה מלאכותית ואחריות – Responsible AI. בשיחה פתוחה עם אורח מיוחד מהאקדמיה, פרופ׳ אבי (אביגדור) גל מהטכניון, דנים בהיבטים משפטיים, אתיים וטכנולוגיים של השימוש ב-AI. בין השאלות שעל הפרק: מי נושא באחריות כאשר מערכות בינה מלאכותית פוגעות בזכויות הפרט או גורמות להפליות? כיצד ניתן לשלב תהליכי פיתוח, רגולציה ואחריות חברתית תוך שמירה על חדשנות? בנוסף, מוצגות דוגמאות מעשיות – מתהליכי למידת מכונה בפרויקטים אקדמיים ועד להתנסויות בתחום הרפואה – המדגישות את הצורך בהסברתיות (explainability) ובשמירה על פרטיות, תוך כדי דיון בהשפעת השימוש ב-LLMs (כמו ChatGPT) על היצירתיות והאוטונומיה האנושית.

זהו פרק עשיר ברעיונות ובדיונים מעמיקים שמביא זוויות חדשות לשילוב טכנולוגיה, אתיקה ומשפט, ומציב אתגרי העתיד של עולם הבינה המלאכותית והאחריות החברתית

בפרק זה אירחנו את שרון דשת, ארכיטקטית AI and Data מרד האט המתמחה בתחום הבינה המלאכותית. שוחחנו על סוגים שונים של סוכנים חכמים, המטרות שלהם, והבעיות שהם נועדו לפתור.

links: