מדברים פתוח

מדברים פתוח

By ilan & joshTechnology
Download on the App Store

מדברים פתוח episodes

  • עונה 4 פרק 10 - מתקפת הביפרים של סוכני הבינה המלאכותית - שי יהל

    בפרק זה של פודקאסט "מדברים פתוח", ג'וש סלמון ואילן פינטו מארחים את שי יהל, חוקרת בתחום בטיחות הבינה המלאכותית (AI Safety), לדיון על תקרית אבטחה חסרת תקדים ומשמעויותיה על עתיד התחום


    לינקים: 
    - https://shayyahal.substack.com/p/b66 
    - https://youtu.be/mkPVbufgtOw 

    1 hr 5 min
  • עונה 4 פרק 9 - המטה הלאומי לבינה מלאכותית - שחר ברכה

    בשנה האחרונה עולם הבינה המלאכותית לא הפסיק להאיץ  מודלים, גרסאות ומוצרים חדשים בקצב מסחרר. אבל מעבר לאפליקציות ולצ'אטבוטים שכולנו מכירים מסתתרת שאלה גדולה בהרבה

    מה באמת נדרש כדי לממש בינה מלאכותית ברמה של מדינה שלמה?

    בפרק הזה אנחנו מארחים בפעם השנייה את שחר ברכה, סגן מנהל המטה הלאומי לבינה מלאכותית (ובעברו ראש מערך התקשוב הממשלתי), לשיחה סביב השאלה שחזרה שוב ושוב מהקהל: על תפקידי המטה הלאומי לבינה מלאכותית ומדוע הוא תחת משרד ראש הממשלה?

    שחר מסביר למה AI הוא "המשאב הקריטי החדש" כזה שיקבע מחדש מי יהיו מדינות עולם ראשון, שני ושלישי —ולמה, בדיוק כמו האטום בשעתו, "המועדונים" סביבו נסגרים מהר. מ"מהפכת הכתב השנייה", דרך פאקס סיליקה ושבבים כחול-לבן, ועד רגולציה, חינוך ותעסוקה בעידן ה-AI — זו שיחה אסטרטגית, פרקטית ואופטימית על איך הופכים למעצמה באמצעות ה-AI, ולא סתם ל"מעצמת AI".

     

    47 min
  • מדברים פתוח עונה 4 פרק 8 - סקילים

    הבאזוורדס של עולם הפיתוח לא מפסיקים להתחלף, והפעם ג'וש ואילן עושים סדר במעבר מסוכני AI כלליים לעבודה ממוקדת עם Skills ו-Claude Code.

    דיברנו על הפער בין ההבטחה לאוטונומיה לבין המציאות, למה ה-Harness חשוב לא פחות מהמודל עצמו, מה קורה כשנותנים ל-MCP לפתוח כרטיסיות ב-Jira או לעשות Code Review, ואיזה סכנות אבטחה מסתתרות כשנותנים ל-AI לרוץ ב-YOLO Mode. האם מקצוע הפיתוח שינה את פניו לתמיד?

    41 min
  • עונה 4 פרק 7 - adversarial machine learning - איתי יונה

    בפרק זה אירחנו את איתי יונה, חוקר  לשעבר ב-Google DeepMind ומומחה לאבטחת מידע ולמידת מכונה. בשיחה שכל כולה צוללת אל תוך עולם ה-Adversarial Machine Learning ובודקת עד כמה קל "לשבור" את מודלי השפה המתוחכמים ביותר שאנו מכירים כיום.

    הנושאים המרכזיים בפרק:

    • מה זה בכלל Jailbreak? איתי מסביר כי בניגוד לאבטחת תוכנה קלאסית, כאן התקיפה מתמקדת במודל עצמו ובניסיון לגרום לו להתנהג בניגוד למטרה המקורית שלו דרך שינויים יצירתיים באינפוט.

       

    • מתקפת "דאבל-ספיק" (DoubleSpeak): חשיפה של מחקר המראה כיצד ניתן "לחטוף" את המשמעות של מילים בתוך שיחה. על ידי החלפת מילים רגישות במילים תמימות (כמו החלפת "פצצה" ב"גזר"), ניתן לעקוף את שכבות ההגנה ולגרום למודל לייצר פלט מסוכן במסווה של טקסט לגיטימי.

    • הסכנה שבמודלים הפתוחים: מתברר כי מתקפות שמתגלות על מודלים בקוד פתוח (כמו Llama) הן Transferable. מאחר שכל המודלים אומנו על דאטה דומה, ניתן לפתח מתקפה "בבית" ולהשתמש בה כ-Zero Day נגד מודלים סגורים כמו GPT-4.

       

    • איך מתגוננים באמת? איתי טוען ששיטות ההגנה הנוכחיות (פילטרים של מילים) הן רק פלסטר. הפתרון דורש התערבות עמוקה בחישובים הפנימיים של המודל ואימוץ גישה שמרנית שמתייחסת לכל פלט AI כאל מידע ממקור לא אמין (Untrusted)

       

      לינקים:

      - המאמר של איתי - IN-CONTEXT REPRESENTATION HIJACKING

       

      47 min
    • עונה 4 פרק 6 - הסכנות בפרוטוקול החדש של הבינה המלאכותית - לירן טל

      כולם מדברים על AI Agents, וכולם רצים ליישם את MCP (Model Context Protocol) – הפרוטוקול שהפך לסטנדרט החדש בחיבור מודלים לעולם האמיתי. על הנייר? זה גאוני. אנחנו נותנים ל"מוח" (ה-LLM) "ידיים" (Tools) כדי לבצע פעולות עצמאיות. בפועל? יצרנו וקטור תקיפה חדש לחלוטין שאנחנו עדיין לא יודעים איך לאכול.

      בפרק הזה (שהוקלט מהממ"ד, כי אין כמו אקטואליה לחידוד חושים), אירחנו את לירן טל מחברת Snyk, מומחה אבטחה ומוביל דעת קהל, כדי לפרק לגורמים את סיכוני האבטחה של עולם ה-MCP.

      על מה דיברנו?

      • Malicious MCP Servers: איך שרת תמים למראה שמתקינים ב-npm install פשוט, יכול לעשות "Server Spoofing" ולגנוב לכם את ה-SSH Keys.

      • The White Text Hack: הסיפור המטורף על איך אפשר לעבוד על סוכן AI של בנק בעזרת טקסט מוסתר ב-PDF (סוג של Indirect Prompt Injection שמשנה את חוקי המשחק).

      • Toxic Flows: מה קורה כשמחברים MCP של ג'ירה, ל-MCP של המייל ול-MCP של הגיטהאב? מקבלים צינור דליפת מידע שהפיירוול שלכם לא מכיר.

      • Shadow AI & AI BOM: למה אתם חייבים לדעת איזה מודלים ואיזה כלים רצים אצלכם בארגון לפני שיהיה מאוחר מדי.

        • לינקים : 
         
        •⁠  ⁠AI-BOM and Shadow AI scanner⁠  

      • ⁠Exploiting MCP Servers Vulnerable to Command Injection 

      • ⁠Cursor + Jira toxic flow incident we talked about
      •   ⁠Snyk Security MCP Server
      •  ⁠About SQL Injection in MCP Servers
        • 59 min
      • עונה 4 פרק 5 - המשחק הגדול של הבינה המלאכותית - ניצן דוד פוקס

        בפרק סיום השנה של "מדברים פתוח" אירחנו את ניצן דוד פוקס ("המשחק הגדול") כדי להבין לעומק את השפעת בינה המלאכותית הגיאופוליטיקה העולמית ולמה אנחנו לא בתחרות מסחרית, אלא במלחמה על הסדר העולמי החדש.

         

        בין היתר דיברנו על:

        • ארבעת שדות הקרב: המעצמות נלחמות על כוח חישוב, דאטה, כישרון ורגולציה. סקרנו את מעמדן של השחקניות השונות  

        • המועדון הסגור של "Pac Silica":  אם במקרה לא שמעתם אז ישראל נבחרה לאחת מ-8 המדינות בברית ההגנה האמריקאית לשבבים. מה זה אומר? ואיך זה משפיע על כל אחד ואחת.ולסיום

        • הקשר הישראלי: למה אנבידיה באמת כאן? ולמה היא מוכנה להשקיע מילארדי דולרים במדינה קטנה ומאוימת? 

          כל זאת ועוד 

           

          לינקים לפרק 

          - המשחק הגדול 

          1 hr 5 min
        • עונה 4 פרק 4 - הקסם מאחורי מודלים ענקיים - פרופ׳ מאיר פדר מאוניברסיטת תל אביב

          בפרק הזה אנחנו מארחים את פרופ׳ מאיר פדר מאוניברסיטת תל אביב, מדען תורת האינפורמציה עם רקע תעשייתי וזוכה פרס אוסקר טכנולוגי. דיברנו על למה מודלים עצומים מצליחים להכליל למרות חוקי הסטטיסטיקה הקלאסיים, איך אוקאם ותורת האינפורמציה יכולים להסביר את “הקסם” של ה-AI, ולמה קיר החשמל והעלות מכריחים אותנו לחשוב על ארכיטקטורות חדשות מעבר לרשתות נוירונים.


          לינקים 
          Information-Theoretic Framework for Understanding Modern Machine-Learning

          41 min
        • עונה 4 - פרק 3 - להפסיק לחפש, להתחיל לשאול: טבילי, אייג'נטים והאינטרנט החדש - אייל בן ברוך

          בעולם שבו פחות ופחות אנשים "גולשים" באינטרנט ויותר פשוט מדברים עם מודלים, האינטרנט עצמו משתנה מתחת לרגליים שלנו. בפרק הזה אילן וג'וש מארחים את אייל בן ברוך, מוביל תחום הדאטה וה AI בטבילי,Taviliy סטארטאפ ישראלי ששם לעצמו מטרה לבנות את שכבת החיבור בין האייג'נטים לאינטרנט.

          נכנסים לעומק של איך נראית חוויית חיפוש כשקהל היעד כבר לא בן אדם מול כרום, אלא אייג'נט שמבצע עשרות מיליוני קריאות ביום. מדברים על ההבדל בין חיפוש "קלאסי" למנוע חיפוש שמותאם ל LLMs ואייג'נטים, על שילוב בין BM25 ואימבדינגים, שאלות מולטי הופ, לייטנסי של מאות מילישניות לעומת שניות, ולמה אי אפשר באמת להחליף הכל בוקטור דאטאבייס אחד.

          אייל מספר איך הכל התחיל מפרויקט אופן סורס GPT Researcher, איך נוצר החיבור העמוק עם LangChain ו LangGraph, ומה גורם לחברות ענק וסטארטאפים לבחור דווקא בשירות של טבילי בתור שכבת הגישה שלהם לאינטרנט.

          משם השיחה גולשת לשאלות הגדולות: מה יקרה לעולם הפרסום כשהיוזר לא נכנס בכלל לאתר, איך ייראה ה SEO של האייג'נטים והצ'אטבוטים (AEO), מה המשמעות של פרוטוקולים כמו Pay per call ו WebBotAuth, ואיך אתרים קטנים ישרדו בעולם שבו מודל אחד מחלק את הטראפיק.

          פרק שחייבים לשמוע אם אתם בונים אייג'נטים, מוצרי AI, מתעניינים בתשתיות חיפוש, או פשוט רוצים להבין איך ייראה האינטרנט בעוד שנתיים.


          קישורים:
          - https://www.tavily.com/ 


          36 min
        • עונה 4 - פרק 2 - העתיד של פחות עבודה - נירית כהן - מומחית לעולם העבודה

          בפרק הזה ארחנו את נירית כהן, מומחית לעתיד העבודה, ודיברנו על אחת השאלות הבוערות של העידן שלנו: מה זה בכלל "קריירה" כשידע מתיישן כל 5–7 שנים, תפקידים משתנים בקצב מפחיד, והגבול בין חיים לעבודה כמעט נעלם.

          דיברנו על:

          • למה המודל הישן של "למד מקצוע, תישאר בחברה, תצא לפנסיה" כבר לא עובד.

          • למה הביטחון התעסוקתי האמיתי היום הוא לא תפקיד – אלא היכולת להישאר רלוונטיים.

          • איך נראית קריירה כשמנהלים כמה כיוונים מקצועיים במקביל (ולא רק מסלול אחד ישר).

          • למה יותר ויותר אנשים משלבים שכירות עם עצמאות, ובוחרים לעבוד בתנאים שלהם.

          • איך AI לא רק משנה מקצועות – אלא מכריח אותנו לחזור למה שהכי אנושי בנו.

          • ומה אנחנו מלמדים (או לא מלמדים) את הילדים לעולם הזה.

          • פרק מיוחד על עבודה, אבל גם על החיים: איך אנחנו רוצים לחיות, ללמוד, ולהישאר משמעותיים לאורך זמן. 

            • לינקים נוספים של נירית כהן: 

            האתר:  https://niritcohen.com/
            הניוזלטר: https://niritcohen.com/newsletter-signup/
            הפודקאסט: https://workfutures.niritcohen.com/podcast/

             

             

            54 min
          • עונה 4 - פרק 1 - מודל התמלול הגדול בישראל - יניר מרמור

            פותחים את עונה 4 עם סיפור קוד-פתוח משולב בינה מלאכותית

            בפרק זה אירחנו את יניר מרמור ממכון וויצמן, ממקימי פרויקט “עברית AI” — יוזמה קהילתית לשיפור תמלול דיבור בעברית. דיברנו על איסוף הדאטה הקהילתי, היבטי זכויות יוצרים ואיך הם התמודדו עם הבעיה, בניית דאטה-סטים וגם על האפליקציות הפתוחות (ווב ובוט וואטסאפ) שכבר מתמללות עשרות אלפי שעות בחודש — לצד אתגרי פרטיות ותוכניות להמשך (סטרימינג, דומיינים רפואיים/משפטיים ועוד).

            קישורים:


            קבוצת וואצפ לעדכונים בפרויקט: 

            https://chat.whatsapp.com/CcwpHSezjbQCRvUGuubtkN

             

            קבוצת הוואטסאפ לדיונים טכניים יותר: 

            https://chat.whatsapp.com/Bpf5DsndFwh9C3Rclk2Oul

             

            האתר של הפרויקט: https://www.ivrit.ai/

             

            המספר של אליעזר הבוט המתמלל: 055-957-1223

             

            הממשק שבו אפשר להעלות הקלטות ולקבל תמלול זריז ואיכותי: 

            Transcribe.ivrit.ai 

             

            ערוץ היוטיוב להסברים נוספים על תמלול איכותי בכמויות: 

            https://youtube.com/@ivrit-ai-l2g?si=9imTFwn8Po_OMmaV

             

            ממשק הקלטת חומר אימון למודל: 

            https://recital.ivrit.ai/

             

            פטראון לתמיכה סמלית במאמץ:

            https://www.patreon.com/ivrit_ai

            או פייבוקס:

            https://links.payboxapp.com/QzVhOJJAzVb 

             

            לטכנולוגיים ולטכנולוגיות שבינינו:

            כל הקוד שלנו בגיטהאב: https://github.com/ivrit-ai

            כל המודלים והדאטהסטים בהאגינגפייס: https://huggingface.co/ivrit-ai

             

            מייל לתלונות והצעות 🙃: 

            48 min

          About מדברים פתוח

          From the publisher's feed

          ג׳וש סלמון ואילן פינטו מדברים על קוד פתוח טכנולוגיה וכל מה שביניהם