
Sign up to save your podcasts
Or


בפרק הזה נדבר, כפי שכתוב בכותרת, על פונקציית המטרה, והדברים שהרעיון הפשוט שלה מסתיר ומגלם בתוכו.
מוזמנים להצטרף לאתר ו\או לאתר הפודקאסט, כמו גם ליצור קשר במייל!
מייל:
טלגרם:
https://t.me/ElishasAngles
אתר:
https://elishasangles.substack.com/
לינקים מהפרק:
מחולל התמונות של גוגל:
https://www.vox.com/future-perfect/2024/2/28/24083814/google-gemini-ai-bias-ethics
https://www.theguardian.com/technology/2024/mar/08/we-definitely-messed-up-why-did-google-ai-tool-make-offensive-historical-images
https://www.theguardian.com/technology/2024/feb/28/google-chief-ai-tools-photo-diversity-offended-users
לשחק שח עם GPT:
https://nicholas.carlini.com/writing/2023/chess-llm.html
ניקולאס קאר, "כלוב הזכוכית":
https://www.roughtype.com/?p=5306
הגיליוטינה של דייויד יום:
https://en.wikipedia.org/wiki/Is%E2%80%93ought_problem
היום אנחנו נציג את הקונספט של תכונות מתהוות, Emergent Properties, ודרכו ננסה לפרוץ את המחסום שהוצב בפני ה-AI בפרק השמיני. האם מערכת טיפשה יכולה, בסדרי גודל מסויימים, להפוך לתבונית?
מוזמנים ליצור קשר ולהצטרף לאתר הפודקאסט, וגם לטלגרם החדש!
https://elishasangles.substack.com/
https://t.me/ElishasAngles
לינקים מהפודקאסט:
שיחה שלי עם תמיר דורטל:
https://youtu.be/cxTXE3m31PQ?si=3sxTub1pf8dK84py
שיחה עם מנכ"ל אנתרופיק:
https://www.youtube.com/watch?v=GrloGdp5wdc
שיחה עם מנכ"ל OpenAI:
https://www.youtube.com/watch?v=nSM0xd8xHUM&t=742s
בין מים לקרח:
https://phys.org/news/2012-09-chemists-smallest-molecules-ice-crystal.html
אריסטו על הנמלים:
http://web.documentacatholicaomnia.eu/03d/-384_-322,_Aristoteles,_08_History_of_Animals,_EN.pdf
סטיגמרגיה:
https://en.wikipedia.org/wiki/Stigmergy
הפעם ניפגש עם רותם אורג, המייסד של ארגון בשם "ליבראל". אני משוחח כאן עם רותם על הארגון שהקים, המצב בצד הליברלי של המפה בארצות הברית, ובייחוד איך ישראל וישראלים צריכים לגשת אליהם כדי לבנות קשרים חזקים וברי קיימא.
מוזמנים להאזין! פרטי התקשרות עם אתר ארגון ליבראל, והמשתמש של רותם ב-X:
https://www.librael.org/
https://x.com/WashingtonExp
בפרק הזה של "זווית אישית", שוחחתי עם ד"ר רועי יוזביץ' על הנושא של העונה השניה: מה זה AI והאם הוא באמת תבוני, לדעתו? על הדרך גם דיברנו על משחק גו, יצירתיות של מערכות AI, עתיד מקצוע התכנות וגם - קסמים.
מוזמנים להאזין!
שלום כולם וברוכים הבאים לאלישע והזוויות, היום ה-16 לפברואר 2025, י"ח שבט, ואנחנו בעונה שניה על בינה מלאכותית, בפרק מספר 9!
נתחיל בכמה עדכונים. קודם כל, אני שמח לשתף שהפודקאסט עבר את 20 אלף ההאזנות בספוטיפיי! ויש עוד כמה אלפים בפלטפורמות האחרות, אז אני משער שבסה"כ עברנו יחד את רף ה-25 אלף. רציתי לקחת רגע להודות לכם על שאתם כאן איתי במסעות שלי, ולעודד אתכם לשתף את הפודקאסט עם חברים, מכרים, עוקבי טוויטר וכן הלאה.
חוץ מזה, ובלי קשר לנקודת הציון החשובה הזו, יש לנו לוגו חדש לפודקאסט! חשבתי שהגיע הזמן לשדרג את המותג, ואני מקווה שאתם אוהבים אותו. תודה רבה לגיסתי שעיצבה הלוגו, אז אם מישהו מעוניין בפרטים שלה, מוזמנים לכתוב לי בפרטי ואני אקשר ביניכם.
בפרק הקודם, פרשתי בפניכם את הטיעון הסקפטי הפשוט שקובע שבאופן מהותי, מחשבים אינם יכולים לחשוב, וכיוון שכל AI שיש לנו היום הוא בסוף תוכנה שרצה על מחשב, כל פרוייקט ה-AI נדון לכישלון. וכשאני אומר "נדון לכישלון" אני כמובן לא מתכוון לכפור בערך ובעוצמה של הכלים המדהימים שאנו קוראים להם AI. מערכות הבינה המלאכותית עשו - וימשיכו לעשות - מהפכה בכל העולם בלי קשר לאיך נקרא להן. יש כאלו שרואים בהן את שורשיה של מהפכה בסדר גודל של המהפכה התעשייתית, ויש סיכוי שהם צודקים בזה. אבל גודל המהפכה אינו בהכרח אומר שהמערכות הללו זכאיות לשם התואר "תבונה". אין ספק שהשם AI מתגלגל בקלילות מהלשון, והוא גם עוזר לייצר השראה לאלפי חוקרים ומתכנתים בעולם, שקמים כל בוקר במטרה לקדם חזון של בניית מוח סינתטי. אבל התיזה משבוע שעבר - בא נקרא לה התיזה ה"סקפטית" - קובעת שמדובר באשליה ותו לא, מופע קסמים שמהתל בנו. הצגנו את הדברים בהשראת המאמרים של מארק הלפרן, שלא המציא את הטיעון אבל ניסח אותו באופן אלגנטי, ואם אתם לא זוכרים את הפרטים, אני מזמין אתכם להאזין שוב לפרק השמיני, ולחזור לכאן כשהדברים יושבים לכם טוב בראש.
ואם כבר הזכרתי את הפרק הקודם, שווה שתכירו פרט טריוויה חשוב לגביי העמדה הסקפטית של הלפרן. אחד המנסחים הראשונים שלה היה ג'ון סרל (John Searle), פרופסור לשעבר באוניברסיטת ברקלי, שהציג אותה על ידי שימוש במשל המכונה "החדר הסיני". לא נכנס לפרטי המשל כאן, אבל הוא דומה קצת להשראה ששאבתי בפרק הקודם ממופעי קסמים. כיוון שמדובר במשל קלאסי וידוע, רציתי שתכירו את השם למקרה שמישהו יזכיר אותו פעם בפניכם. שלא תגידו שאני לא דואג לכם, כן? אצרף כאן לינק לפרטי המשל למי שירצה להרחיב.
אל מול הטיעון הסקפטי שדנו בו בפרק הקודם אפשר להציב כמה תגובות. אפשר לנתח את הטיעון עצמו, ולבדוק איפה יש טעויות או קפיצות לוגיות, נקודות תורפה שיאפשרו לנו להחליש אותו. אם נדָמֶה את הטיעון כסוג של גדר שתוחמת את המחשבים לאזור שאין בו אינטליגנציה, אפשר לחפש פרצות בגדר. גישות כאלו אנחנו נסקור בפרקים הבאים. היום, אני רוצה לדון בתגובה מסוג אחר.
כמה מאזינים פנו אלי אחרי הפרק ושאלו - רגע, אבל מה עם המוח האנושי? גם המוח הוא בסוף מכונה פיזית, שמבוססת על סיגנלים חשמליים בין תאי-עצב הקרויים נוירונים. לכל הרוחות, כל מערכות ה-AI של היום בנויות על תשתית שקוראים לה רשתות נוירונים, ארכיטקטורות שעוצבו בהשראת המוח האנושי. אז, אם אנחנו מצליחים לחשוב בעזרת המוח, אז זה אומר שקיימת ארכיטקטורה כלשהי של מחשבים שתוכל לחשוב, הלא כן?
כשחשבתי על השאלה הזו, הייתי חייב להיות כנה עם עצמי: מדעי המוח הם מטרופולין סואן של רעיונות וגילויים מדעיים, ואני לא מתחיל בכלל לגרד את הידע הנרחב בנושא. וחוץ מזה, אם היינו רוצים לשטוח את כל נושא הקשר שבין בינה מלאכותית לבין המוח, היינו צריכים להכניס לכאן מומחים מהמון תחומי ידע לגביי המוח האנושי - פסיכולוגים, נוירולוגים, מומחים לאבולוציה וכאלו שיכולים לספר לנו על המוח של קופים וכלבים ומה אנחנו יודעים על היכולת שלהם לחשוב, וכן הלאה. ולכן, מה שהחלטתי לעשות היום הוא בעיקר לפתוח צהר לאיך אני ניגש לחשיבה על עניין ההקבלה שבין המוח לבין בינה מלאכותית, עם כמה דוגמאות ממש בפינצטה, ובתקווה שזה יעזור לכם ויתן לכם כלים טובים לארגון הידע שלכם בנושא. בנוסף, בפרקים הבאים אנחנו ניגע בעוד נושאים המשיקים למה שאנו יודעים היום על המוח, לפחות זו התכנית שלי, אז אני מקווה שהפרק הזה לא יהיה סוף פסוק בעניין.
אז, מאיפה נתחיל? נראה לי שהדבר הראשון שצריך לומר הוא שבמסגרת העונה שלנו, יש משמעות מיוחדת להזדקקות למוח.. שכן בעצם הצגת השאלה אנחנו סוטים במידה מסויימת מדרכו של טיורינג וחושפים חולשה בפרוייקט שלו. הרי טיורינג שאף להתמקד רק בביטויים החיצוניים של אינטליגנציה וחשיבה, והוא נמנע באופן מכוון מלהזדקק לשאלה איך שתיהן מתממשות אצל בני האדם. טיורינג קיווה בכך לדלג קדימה לפתרון בלי להבין את מהות הדבר שהוא מנסה לפתור - לבנות מערכות חושבות בלי להגדיר מראש מה זו חשיבה. אבל מה שה"גישה הסקפטית" טענה באופן מאד משכנע הוא שכאשר מסתכלים מתחת למכסה המנוע ומבינים איך מחשבים עובדים, אשליית החשיבה שלהם מתנפצת. כיוון שכך, מי שרוצה לייצב את החזית הזו נדרש בעצם לשכנע אותנו שהמוח האנושי, שכולנו מסכימים שמסוגל לחשוב, זהה למחשבים מבחינה מהותית כלשהי. הבעיה היא שבכך הוא שובר את המסך שטיורינג הציב, מסך שמפריד מראש בין ה"מה" שאנו חווים, לבין ה"איך" שנסתר מעינינו.
אז בסדר, יש כאן ניצחון בקרב קטן מול "מסך הבּערות" שטיורינג ניסה להציב. אבל מהרגע שפרצנו את מסך הבערות, הויכוח שבין הגישה הסקפטית לגישה האופטימית עובר לחזית אחרת. בעלי הטיעון ה"אופטימי", אלו שסבורים שבינה מלאכותית יכולה להיות תבונית באמת, באים ואומרים: הלפרן, וגם ג'ון סרל - אתם ושכמותכם משחקים מלוכלך. על הבמה יש לא קוסם אחד אלא שניים - הבינה המלאכותית כמובן, אבל גם הבינה הביולוגית האנושית. בפרק הקודם דאגתם לחשוף את הטריקים של הקוסם המלאכותי, תוך כדי שייחסתם יכולות חשיבה מהותניות למוח האנושי. אבל בכך אתם רק ממנפים יתרון לא הוגן שיש למוח האנושי, והוא שאנו לא יודעים איך בדיוק הוא עובד. אם תרימו את מכסה המנוע של המוח הביולוגי ותביטו פנימה, אם נתחיל לחפור לעומק באופן שבו הוא עובד, אנחנו נחשוף שהמוח שלנו דומה מאד למחשב, דומה מדי, ושגורל שניהם תמיד יהיה זהה.
ובהחלט, זהו טיעון מאד אִינְטואִיטִיבִי ששווה דיון. כפי שאמרנו, מערכות בינה מלאכותית כיום בנויים באופן דומה מאד למוח. שניהם מבצעים חישובים על ידי תקשורת בין נוירונים המאורגנים בצורה של רשת. אצל שניהם, הנוירונים עוברים כיול בתהליכים של למידה לאורך זמן עד שהם מגיעים לתפקוד ראוי. ואצל שניהם - וזה החלק שמתקשר ישירות לפרק הקודם - אצל שניהם הנוירונים פועלים באופן מכני, דטרמיניסטי וחסר חשיבה. כל נוירון פשוט מגיב לַגִירויים שהוא מקבל מהסביבה. אז, ידידי הסקפטים, אתם יודעים מה? כל הכבוד לכם שכיתרתם את המחשבים והוכחתם שלעולם לא יוכלו לפרוץ את גבולות הדטרמיניזם ולחשוב באמת, אבל עכשיו הגיע הזמן שתשימו לב שכשהתקנתם את המנעול על דלת הגדר, על הדרך גם כלאתם את עצמכם ואת המוח האנושי באותו כלוב לוגי. אם הטיעון שלכם חזק מספיק כדי להוכיח שמחשבים לא יהיו מסוגלים לחשוב לעולם, אז באותה מידה הוא מראה שמה שהמוח האנושי עושה כבר היום איננו חשיבה. תקראו לזה מה שאתם רוצים, אבל אין משהו מהותי במוח הביולוגי, ובחשיבה האנושית, שלא יכול להתממש במחשב מבוסס סיליקון עם תוכנה מתוחכמת.
הטיעון הזה נשמע חזק, אבל ניסוח טוב יותר לכך הוא שיש לו פוטנציאל להיות טיעון חזק, פוטנציאל להיות תשובה ניצחת כלפי הסקפטיים. הקביעה "מחשבים שקולים מהותית למוחות" איננה עובדה, אלא היפותיזה. יש להיפותיזה הזו הרבה תומכים, ויש להם סיבות טובות לחשוב כן. מצד שני יש גם הבדלים חשובים בין המערכות השונות, ולכן סימן השאלה עדיין שם. ומתוך סימן השאלה הזה עולים הרבה כיוונים מעניינים לבחינת הנושא.
בואו נתחיל מהכיוון האופטימי. להוכיח שהמוח שקול ב-100% למחשבים זה כמובן לא אפשרי, אבל מתוך ההצלחות של GPT אפשר בהחלט לקבל הרבה רעיונות והשראה לגביי איך שהמוח האנושי עובד. אני אזכיר לכם ש-GPT, כל שהוא מאומן לעשות זה לעשות auto-complete, השלמה של המילה הבאה, לפי כל המילים הקודמות שהיו בשיחה. אתם הכרתם את הפיצ'ר הזה ממזמן כשכתבתם הודעות טקסט בנייד, ו-GPT פשוט שם את זה על סטרואידים. אז, בהינתן שזה כל מה שזה עושה, זה מפתיע באופן מטורף שגישה שכזו מספיק עוצמתית כדי לנהל שיחה משכנעת עם בני אדם, ולהצליח פעמים רבות במבחן טיורינג! מה אפשר ללמוד מזה שזה המצב? ובכן, כיוון שהטבע אוהב להיות חסכוני במשאבים ואנרגיה, אולי אפשר להסיק מכאן שחלקים מסויימים מיכולת הדיבור האנושית דורשים מכניזמים הרבה יותר פשוטים ממה שחשבנו. וכך, נניח, אומר הפילוסוף נד בלוק, פרופסור באוניברסיטת ניו יורק, בראיון שנתן לאחרונה:
"אני לא יודע אם אפשר ללמוד ממערכות ה-AI לגביי המבנה של השפה האנושית, אבל הן בוודאי לימדו אותנו המון על חשיבה אנושית, ובייחוד אלו חלקים מהשכל אולי מנצלים טכניקה פשוטה יחסית של auto-complete. זו תגלית חשובה ביותר."
אז, זו דוגמה אחת לאופן שבו ההקבלה בין המוח לבין המחשב יכולה להאיר אור חדש על תפקודו של המוח. ואם זה המצב, מאד קל להתמכר לרעיון שהשניים דומים מאד באופן פעולתם. ולמי שרוצה להאזין לשיחה המרתקת עם פרופ' בלוק, אני אשים את הלינק לשיחה הזו שלו בתיאור הפרק.
אבל לצד נקודות הדמיון, יש גם הבדלים חשובים. נניח, בואו ניקח לדוגמא את ההבדל הבולט ביותר בין השניים - העובדה שהמוח הוא מערכת ביולוגית שמוטמעת בגוף האדם בעוד מחשבים עשויים מסיליקון וכלואים בקופסא מלבנית…
פרק 3 ואחרון מתוך 3 בנושא - כיצד ההתנתקות הניעה תהליכי עומק בציונות הדתית (ובימין בכלל) שפרצו לשטח ברפורמה המשפטית? ובפרק הזה אנחנו גם דנים בסערת הסרבנות, ובאופן שבו מה שקרה לציונות הדתית בהתנתקות קורה היום לצד הליברלי במפה.
תודה על ההאזנה - כל משוב יתקבל בברכה!
פרק 2 מתוך 3 בנושא - כיצד ההתנתקות הניעה תהליכי עומק בציונות הדתית (ובימין בכלל) שפרצו לשטח ברפורמה המשפטית?
ממשיכים את השיחה עם עמית מנדלבוים, איש הייטק מהציונות הדתית שהתנגד להתנתקות וגם לרפורמה, כדי לדבר על רחשי הציבור הציוני דתי ומה הרבה אנשים לא מבינים על הקשר שבין הטראומה של ההתנתקות לבין הרפורמה המשפטית.
אל תעצרו כאן - הפרק השלישי והאחרון זמין גם כן!
כיצד ההתנתקות הניעה תהליכי עומק בציונות הדתית (ובימין בכלל) שפרצו לשטח ברפורמה המשפטית? הפעם אני משוחח עם עמית מנדלבוים, איש הייטק מהציונות הדתית שהתנגד להתנתקות וגם לרפורמה, כדי לדבר על רחשי הציבור הציוני דתי ומה הרבה אנשים לא מבינים על הקשר שבין הטראומה של ההתנתקות לבין הרפורמה המשפטית.
זהו פרק 1 מתוך 3 בנושא - שני הפרקים הנוספים יצאו גם כן, והפיצול נועד לנוחות ההאזנה. מוזמנים להיכנס לאתר (elishasangles.substack.com) ולראות את שני הפרקים הנוספים - לא רציתי להציק לכם עם מבול של מיילים סתם בשל העניין הטכני הפעוט הזה…
ושימו לב - לוגו חדש!
כרגיל, מוזמנים להגיב כאן או לכתוב לי למייל [email protected].
שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק מספר 8! היום ה-5 בינואר, 2025, - שנה אזרחית חדשה, פרק חדש! עומד להיות לנו פרק מאד שאפתני, כפי שתראו, אז אני חושב שזו תהיה אחלה דרך לפתוח את השנה כאן בפודקאסט.
לכבוד האירוע, אני רוצה שוב לעודד אתכם, כפי שעשיתי בפרק שעבר, לבקר ולהירשם באתר האינטרנט של הפודקאסט, כדי שתקבלו מייל כשיוצא פרק, וגם תוכלו לראות את כל התמונות והדיאגרמות שמוזכרות בעונה. בנוסף, יש גם מייל לפודקאסט ([email protected]) - אם מישהו רוצה לשלוח, אני תמיד שמח לקבל מכם משוב, ואני מנסה לענות לכל מי שכותב. הלינקים השונים לכל הדברים הללו נמצאים בתיאור הפרק, אז - מוזמנים!
אני רוצה להתחיל את הפרק בסקירה ממעוף הציפור של מה שראינו עד כה, כדי למקם איפה אנחנו. לאורך העונה, דיברנו הרבה על מבחן טיורינג כדוגמה הקלאסית למבחן שמזהה תבונה. מבחן טיורינג אמנם קיבל מקום של כבוד בפנתאון המבחנים לזיהוי אינטלגנציה מלאכותית, אבל מאז 1950 ועד ימינו אנשים הציעו חלופות. חלקן היוו שידרוגים או שינויים על בסיס מבחן טיורינג, וחלקן פנו לכיוונים אחרים. אם ניקח כמה ניסוחים מהשנים האחרונות, אז יש את גארי מרקוס, פסיכולוג וחוקר קוגניציה, שהציע לאתגר מחשבים בצפיה בוידאו ולאחר מכן שיענו על שאלות ביחס למה שהוצג בוידאו. יש את מוסטאפה סולימאן, יזם בתחום ה-AI ומוביל תחום ה-AI במיקרוסופט, שהציע לתת ל-AI סכום של 100K דולר, ולתת לו משימה להרוויח מיליון דולר. אם המחשב יצליח במשימה, אז הוא ייחשב בינה מלאכותית. ויש גם את יובל נוח הררי. בכמה ראיונות שנתן, הררי הגדיר AI באופן רחב הרבה יותר - כמערכת שיודעת להתקדם אל עבר יעד נתון ולהתמודד עם האקראיות של המציאות מסביב בדרך לשם. דרך אגב, אני מתכנן להקדיש פרק עתידי לדברים של יובל נוח הררי בעניין - הוא מייצג גישה מסויימת לשיח על AI שנראה לי חשוב להתייחס אליה - אבל כרגע אנחנו נסתפק בדברים שהוא אמר באופן כללי.
כפי שאתם מבינים, יש הרבה הצעות שם בחוץ לאיך נזהה AI אמיתי, בינה מלאכותית אמיתית. אבל למרות כל הוריאציות השונות, יש משהו אחד שמשותף לכל התיאורים החלופיים ששיתפתי עד כה: כולם מציבים מבחן שמתמקד בביצועים של המכונה, ביכולות מוחצנות שניתנות למדידה. טיורינג התמקד בשיח אנושי זורם, ואחרים מתמקדים ביכולת להרוויח כסף או לנתח ולהסביר התרחשויות בוידאו. לצד הפוקוס הזה על התוצרים, יש גם את החלק השני והמשלים של ההצעות השונות: חוסר עניין מוחלט במה שקורה בתוך הקופסא השחורה שאנחנו בוחנים. אם זה עובד - אם זה מייצר תוצרים ששקולים לתוצרים האנושיים - אז לא אכפת לנו איך. יש כאן הנחה סמויה, שהמבחנים שאנו נאמץ כדי לבדוק את המכונות הם כל כך מאתגרים, שהדרך היחידה להצליח בהם תהיה אם המנוע שבתוך הקופסה יהיה, אפקטיבית, יישות תבונית.
אבל, מה אם הכל זו עבודה בעיניים? תחשבו רגע על מופע קוסמים. כשאתם הולכים לצפות במופע שכזה, נניח של אמן חושים כמו ליאור סושרד, אתם צופים בבן אדם עושה דברים שנראים, מבחוץ, כמו כישוף אותנטי: קריאת מחשבות, חיזוי העתיד, וכן הלאה. אבל אתם לא יוצאים מהאולם בסוף הערב באמונה שהוא אכן מכשף, אלא בעיקר סקרנים לדעת מה הטריקים שהוא הפעיל בלי ששמתם לב, כדי לגרום למראית עין של כישוף. אתם גם יודעים, אם למדתם פעם איזה קסם או שניים, שאם הוא היה מגלה לכם את הטריק, כל המסתורין היה נעלם מיד, והיה מוחלף בהערכה עמוקה ליכולות אחרות של הקוסם: הביצוע המדוייק, ניווט תשומת הלב של הקהל כדי שהאשליה תהיה מושלמת, וכן הלאה. אז אולי זה מה שקורה גם עם מערכות ה-AI - אולי ההתמקדות שלנו בביצועים מבחוץ פשוט מאפשרת לנו להתמכר לאשליה של חשיבה? אולי בעצם מבט מאחורי הפרגוד יחשוף שהקוסם מארץ עוץ אינו מכשף אלא רק שרלטן?
אז, זה מה שאנחנו נעשה כאן היום - אני אציג את הטיעון הסקפטי החזק ביותר שאני מכיר ביחס לתבוניות של מערכות ה-AI שסובבות אותנו. האמת היא, אני עומד ללכת רחוק הרבה מעבר לזה: אני אטען שמחשבים, באופן מהותי וסופני, לא חשבו בעבר, אינם יכולים לחשוב בהווה, וגם בעתיד לא יוכלו לחשוב, אפילו לא טיפה. ואולי, אולי יום יבוא והאדם יצליח לבנות מערכת מלאכותית שמסוגלת לחשוב - אבל מערכת כזו, אם וכאשר תבוא לעולם, לא תהיה על טהרת המחשבים.
אני יודע ששמתי כאן יעד שאפתני מאד, כזה שנועד לקעקע את כל הפרוייקט של AI מראשיתו ועד סופו, ואנחנו נראה אם זה יצליח! וכמובן, אנחנו כאן ב-"אלישע והזוויות" אוהבים להציג דברים מזוויות שונות. אז, גם הפרק הזה לא יהיה סוף פסוק, ואנחנו נראה את הקונטרה לדברים שאציג כאן היום בפרקים הבאים. אז אם אתם אישית מאד מאמינים ב-AI כעתיד האנושות, אל תתייאשו ותעברו לפודקאסט אחר שיעשה לכם נעים בבטן. בסוף, הדרך הכי טובה להגיע לאמת היא לתת לרעיונות הפוכים להתנגש ולהתחכך, ולתת לניצוצות שיוצאים מההתנגשות להאיר לנו את הלילה בדרך אל היעד.
והערה אחרונה, לפני שניגש לבשר של הפרק: השלד של הפרק הזה מגיע מתוך כמה מאמרים שקראתי, שכתב אדם בשם מארק הלפרן. הלפרן הוא יליד 1931, אבל ב-2020 הוא עדיין פרסם מאמרים בנושאי טכנולוגיה. הוא עבד לאורך חייו ב-IBM, ובמעבדות המחקר של פאלו אלטו, ובערוב ימיו עבר לכתיבה טכנית, ובין השאר פרסם כמה ספרים. המאמרים שלו על בינה מלאכותית (הנה אחד, ועוד אחד), המגיעים ממקום סקפטי, היו מרשימים בבהירותן. חשוב לומר שהמאמר האחרון שלו שמצאתי, מ-2020, פורסם לפני ש-GPT יצא, אבל המהות של הביקורת שלו עומדת במבחן הזמן. זה באמת היה פשוט תענוג למצוא משהו כזה, שנכתב על ידי אדם יחסית אלמוני למיטב ידיעתי, ולגלות יהלום נסתר שמתחבא לו אי שם ברשת.
אז בואו נתחיל. לאורך הסדרה הזכרנו כל מני תכונות שנראה שהן חלק מהותי ממה שזה אומר לחשוב: אינדוקציה, דדוקציה, למידה ואולי עוד כמה שאני לא זוכר כרגע. לצורך הפרק הזה, אני רוצה להוסיף עוד אבחנה לגביי חשיבה: חשיבה היא המנוע שמאפשר לבני אדם לפתור בעיות באופן יצירתי. בואו ניקח לדוגמה את מה שקורה כשאתם מנסים למצוא את המפתחות של הרכב של בן או בת הזוג, רגע לפני שאתם יוצאים לסרט. אפשרות אחת היא לעבור כל ס"מ רבוע בבית ולבדוק אם המפתחות שם. אפשרות שניה היא לנסות לחשוב איפה הם הסתובבו באותו יום בבית ואיפה הגיוני שהם השאירו את המפתחות, ולמקד את החיפוש בהתאם. בשתי הגישות, מבחן התוצאה יהיה שהמפתחות ימצאו, אבל בניתוח התהליך אנחנו נראה שהגישה הראשונה לא מצריכה חשיבה, בעוד השניה כן. הגישה השניה דרשה ניווט מנטלי וסינון מושכל של כל האפשרויות התיאוריטיות לגביי מיקום המפתחות, כדי לצמצם את מרחב החיפוש למשהו הרבה יותר מפוקס.
עם הרקע הזה, בואו נעבור להסתכל על המחשב, ולשאול את השאלה שטיורינג רצה להימנע ממנה: האם בתוך המחשב מתבצעת חשיבה?
ובכן, למזלנו הרב אנחנו יודעים טוב מאד איך מחשבים עובדים. בני אדם כותבים תוכנה שמגדירה למחשב מה לעשות, והמחשב מבצע אותה. אני יודע שמה שאמרתי נשמע פשוט מאד, אבל שימו לב שוב לדברים: המחשב מבצע, תמיד, ללא לאות וללא סטייה, בדיוק את מה שאומרים לו. לא יותר, ולא פחות - בדיוק מה שאומרים לו. אם יקרה איזה פעם מצב שבו מחשב כלשהו יגיע לשורה בקוד שלו, והוא יבצע משהו אחר ממה שכתוב שם - היינו קובעים שמדובר בבאג, בוירוס, או כל דבר אחר שנחשב סטייה מההתנהלות התקינה של המכשיר. הדברים הללו נכונים בין אם הביצוע היה לקוי, ובין אם הביצוע היה מושלם אבל נעשו עוד דברים שלא נכללו בפקודה, נניח אם לחצתי על האות "א" ועל המסך הופיעו האותיות "אב". זה אחד הדברים היפים והמעצבנים במחשב: הוא תמיד מבצע בדיוק את מה שפקדו עליו לעשות. ומכיוון שכך, מתכנתים כמוני יודעים שאם התוכנה שלנו לא עובדת, אז בוודאות של 100% הטעות היא אצלנו, בקוד שנתנו לו.
כלומר, מחשבים הן מכונות דטרמיניסטיות לחלוטין, ומכאן קצרה הדרך להסקת המסקנה שמחשבים אינם חושבים. בוודאי, מתרחשים בתוך המחשב המון חישובים, זה נכון, אבל המחשב עצמו אינו זה שמנווט ומחליט אילו חישובים לבצע. כל שהמחשב יודע לעשות הוא משהו אחד: לבצע באופן עיוור את הדברים שהוכתבו לו מבחוץ, על ידי המתכנת או המתכנתת. הוא לא מוסיף כלום על פני מה שהוא קיבל מבני האדם. שום תובנה לא מגיעה מתוך המחשב, אלא רק ממוחו של המתכנת שכתב את התוכנה, או ממוחם של אלו שמפעילים אותה.
בואו נעצור לרגע ונבחן את הדברים - האם מה שאמרתי הוא נכון, שהמחשב עושה רק מה שאומרים לו? על פניו, זו עובדה שלא ניתן לחלוק עליה. ועדיין, יש שינסו לשכנע אתכם - ואולי גם את עצמם - שהמחשב מסוגל לחמוק מהדטרמיניזם שכפיתי עליו כאן, ובכך להזריק לו קורטוב של חשיבה. בואו נבחן שלוש כיוונים להצעות שכאלו כאן, כי מתוך זה שקצת נאתגר את מה שאמרתי, הדברים יתבהרו.
כיוון אחד שאנשים מציעים בפורומים שונים הוא להצביע על מצבים, שעולים הרבה לאחרונה, שבהם המחשב משנה את הקוד שלו עצמו. נניח, לתת ל-GPT שיבחן את הקוד שלו, ויבצע מקצה שיפורים. האם גם אז נאמר שהקוד החדש מבצע את מה שאמרו לו בני האדם? האמת, זו שאלה יפה ומעניינת, שדורשת הרחבה מיוחדת, ולכן אני מתכנן להקדיש לה ולאספקטים שונים שלה פרק שלם, אולי אפילו הפרק הבא, אז בינתיים נשים אותה בצד ונתעלם ממנה באלגנטיות.
הכיוון השני נוגע למשהו שורשי ונפוץ מאד בתוכנות מחשב ובמערכות AI במיוחד, והוא השימוש באקראיות כחלק מהתוכנה. לאלו שלא מכירים, בהרבה תוכנות ישנם קטעים שבהם התנהגות המחשב נקבעת על פי מספר אקראי שמהחשב מגריל. נניח שיש ארבע אפשרויות, המחשב יגריל מספר בין 1 ל-4 ולפי מה שיצא הוא יפעל. דוגמה ששמעתי בעניין פעם היה לגביי וייז, שאם המערכת רואה שיש שלושה מסלולים אפשריים בין נ…
שלום כולם, וברוכים הבאים לאלישע והזוויות, עונה שניה פרק מספר שבע! היום ה-9 בדצמבר, 2024, ואנחנו נדבר היום על כל מני דברים, כולל מודלים שמאבדים את שפיותם! אז יהיה מעניין!
חוץ מזה, הרבה זמן כבר שאני שוכח להדגיש, למי שמעוניין, את קיומו של אתר אינטרנט לפודקאסט: הלינק נמצא בתיאור הפרק בספוטיפיי או ביוטוב, ומי שנרשם לאתר מקבל מייל כשיוצא פרק חדש, וגם יכול לקרוא את התמלול של הפרק. במיוחד בעונה הזו, התמונות והייצוגים הויזואליים מאד עוזרים, אז יש אתר כזה, ובואו תירשמו!
בואו נפתח את הפרק שלנו היום בשאלה, כדי לעורר את התיאבון: מה היה קורה אם היינו מאמנים את GPT על הפלט של GPT עצמו?
כדי לוודא שכולנו מיישרים קו, בואו ואפרק את השאלה הזו לגורמים שלה, על פי כל הדברים שראינו בעונה עד כה. נתחיל בתזכורת על איך הכלי הזה שקוראים לו GPT נוצר. GPT זו בעצם מערכת AI ש"האכילו" אותה המון קטעי טקסט שכתבו בני אדם, היא חילצה את התבניות שחבויות בהם בתהליך אינדוקטיבי, באופן כזה שהיא יכולה להפעיל את התבניות בתהליך דדוקטיבי ולייצר טקסטים חדשים. לתהליך האינדוקציה נקרא "אימון" או "למידה", בעוד שלתהליך הדדוקציה נקרא “הפעלה” של המודל המאומן. ושווה לזכור - המודל הזה מתחיל טאבולה ראסה, נקי מכל מידע על שפה, ורק תהליך החשיפה לדאטה אנושי מעצב אותו, כמו פלסטלינה, כך שהטקסטים שהוא מייצר יהיו דומים לטקסטים שהוא אומן עליהם, כלומר טקסטים אנושיים.
ובכן, נחזור עכשיו לשאלה שבה פתחתי. נניח שיש לי מודל שפה משלי בשם ג'פטו, שהוא בעצם GPT של היום. אז עכשיו אני יכול לבקש ממנו לייצר לי המון טקסטים בהמון נושאים, ואז לקחת אותם, ולהשתמש בהם כדי לאמן GPT חדש. אנחנו נקרא לו פינוקיו, שהרי בעצם ג'פטו כאן הוא זה שמאמן את פינוקיו, ובכך נופח בו חיים. ואז השאלה היא - באיזו איכות יהיו הטקסטים של פינוקיו? או במילים אחרות - האם פינוקיו יהיה ילד אמיתי, או רק בובה על חוטים?
השאלה הזו תלווה אותנו לאורך הפרק היום, אבל עוד לפני זה היא מתקשרת לפרק שעבר. כפי שאתם זוכרים, דיברנו שם באופן נרחב על הקשיים שיש בהשגת דאטה שבני אדם ייצרו לצורך אימון של מודלים. כיוון שכך, החלום הרטוב של עולם ה-AI הוא שלא נזדקק לבני אדם במשימה הזו בהיקפים גדלים והולכים, וזאת משום שנוכל פשוט לבקש מה-AI של הדור הקודם לייצר לנו דאטה שכזה. אם ג'פטו יכול לייצר דאטה באיכות גבוהה דייה, כך שפינוקיו יהיה ילד ככל הילדים, אז גם אם יגמר כל הדאטה הזמין באינטרנט אפשר יהיה לייצר עוד דאטה סינתטי בקלות רבה, בלחיצת כפתור.
בשל החשיבות הרבה של הנושא הזה, נעשו ניסויים מדעיים בעניין, ואני אסקור כמה מהם בהמשך הפרק. בינתיים, קחו אולי איזו דקה לחשוב מה קרה באותם ניסויים. האם התברר שפינוקיו הוא מודל שקול בעוצמתו לג'פטו? אולי הוא אפילו היה חזק ומדוייק יותר ביכולותיו? או שמא להיפך, הביצועים שלו התדרדרו והתכנסו למשהו בינוני? התשובות - בהמשך.
בפרק שלנו היום אני רוצה להמשיך את מה שהתחלנו בפרק הקודם, ולטעון שההישענות על דאטה אנושי הינה עקב האכילס של מודלי ה-AI העדכניים. זה כמובן די מצחיק לחשוב שאני שוקל להציג טיעון שכזה, שכן ההישענות הזו היא גם פריצת הדרך שאיפשרה, בעשור האחרון, למהפכת ה-AI המדהימה שסביבנו. אבל תזכרו את מה שראינו בשבוע שעבר: שבדאטה שבני אדם מייצרים יש בהחלט המון מידע שיכול לעזור לנו לבנות כלי AI חזקים, אבל יש מקום להטיל ספק בשאלה אם זה מספיק כדי להגיע לבינה מלאכותית שהיא באמת תבונית. כלומר, הטיעון שלי יהיה שאנו צריכים עוד מהפכות משמעותיות ב-AI לפני שנוכל להגיע לבינה מלאכותית אמיתית, וכל עוד אנחנו מתעקשים להישען בעיקר על אימון מתוך דאטה, אנחנו מפספסים משהו גדול מאד בסיפור.
כדי להדגים את זה, אני רוצה שנתחיל את המסע שלנו בניתוח מדוקדק יותר של מבחן טיורינג. כפי שאתם זוכרים, במבחן טיורינג יושב לו אדם - נניח, אישה - ומקבלת את תפקיד הבוחנת. היא מנהלת שיחה עם דמות כלשהי דרך צ'ט, ולאחר כמה דקות של שיחה מודיעה אם לדעתה מדובר במחשב או אדם. בחינה מדוקדקת של המבחן הזה תגלה משהו חשוב, שכבר רמזנו עליו בפרק השני של העונה: הגורם האנושי שבבדיקה הזו איננה חלק מהותי מהמבחן, אלא פשוט המדד הכי זמין לתבונה שיש בידינו. טיורינג השתמש במדד הזה של "האם המכונה הצליחה להתל בבוחנת" פשוט בשל הזמינות של המדד והאינטואטיביות שלו. המהות של מבחן טיורינג, לעומת זאת, זו הקביעה הבאה: שאם מכונה מפיקה פלט באיכות ששקולה לזה של פלט אנושי - אזי היישות הזו תיחשב תבונית.
שווה להדגיש את החלק הראשון - שבדיקה אנושית של איכות הטקסט איננה המרכיב המהותי במבחן טיורינג - כיוון שבניסויים שנעשו מתברר שיש כל מני בעיות בלסמוך על עצמנו. איך לומר זאת בעדינות - אנחנו לא כאלה טובים בלזהות תבונה אנושית כמו שאנחנו חושבים. קחו לדוגמה את התוצאות של מאמר שיצא לפני כשנה, שבו ניסו כמה חוקרים לבדוק עד כמהGPT גרסה 4 מצליח לעבור את מבחן טיורינג. בניסוי הכי מוצלח שלהם, הצליח GPT לשכנע 50% מאלו שדיברו איתו דרך צ'ט שהוא בעצם בן-אדם, שזו באמת הצלחה מרשימה ביותר (מערכות ישנות יותר שפותחו בשנות ה-60 של המאה הקודמת, כמו ELIZA, הגיעו להצלחה של 22% בלבד). אבל באותו מאמר גם הופיע פרט אחר, חשוב לא פחות, שקשור לתמונת המראה לתוצאה הזו: באותו ניסוי, כאשר מן העבר השני של הצ'אט היו בני אדם ולא מכונה, הבוחנים זיהו שמדובר בבני אדם רק ב-66% מהפעמים. במילים אחרות, בשליש מהפעמים שהם דיברו עם בני אדם, חשבו הבוחנים האנושיים שמדובר דווקא במכונה! אז נכון, בני האדם היו משכנעים יותר מה-50% של GPT, אבל התוצאה הזו כשלעצמה מטילה צל כבד על הקונספט הבסיסי של מבחן טיורינג: שבני אדם יודעים לזהות חשיבה אנושית דרך צ'ט אינטרנטי.
מדובר, כמובן, רק במאמר אחד, ואפשר לצלול לפרטיו ולאתגר אותו וכן הלאה. אבל הוא כן ממחיש שהמסנן האנושי איננו בהכרח מדוייק. ולכן, אפשר לשדרג את מבחן טיורינג אם נמצא דרכים אחרות לבחון את הפלט הזה, דרכים שאינם עוברות דרך הערכה אנושית סובייקטיבית. כך אולי נוכל לדייק יותר את ההערכות שלנו לגביי תבוניות המכונה. אבל - האם יש דרכים כאלו?
התשובה היא כמובן שכן, יש כל מני דרכים אלטרנטיביות לבדוק את זה, ואת חלקן אנחנו גם נפגוש בפרקים עתידיים, אם הכל יצא לפי התכנית. היום ספיצפית אנחנו נלך על משהו קצת יותר מגניב, שכמו האקדח של צ'כוב כבר ראיתם במערכה הראשונה: הניסוי הזה עם ג'פטו ופינוקיו! שימו לב:
* ג'פטו אומן על דאטה אנושי - זה נתון.
* פינוקיו מאומן על דאטה שג'פטו יצר. גם זה נתון.
* אז אם הפלט של ג'פטו הוא פלט ששקול לפלט אנושי - כלומר, אם ג'פטו עומד בדרישות מבחן טיורינג - פינוקיו אמור להיות שקול לג'פטו. כלומר, אם ג'פטו הצליח להטמיע אצלו בינה ששקולה לבינה אנושית, אז הביצועים של יציר כפיו, של פינוקיו, לא אמורים ליפול מאלו שלו עצמו. מש”ל.
אולי זה היה קצת קשה לעקוב, אז בואו תנו לי רגע להציג את העניין מזווית אחרת, עם דימו ויזואלי שבטח יהיה אינטואטיבי יותר לרובכם. נניח שיש לכם תמונה שצייר חבר שלכם, ומכונת צילום. אתם לוקחים את התמונה, מצלמים עותק שלה במכונה, ואז משווים בין התמונה המקורית לבין התמונה המצולמת. אם מכונת הצילום מושלמת, לא אמור להיות הבדל בין שתי התמונות. ואם יש הבדל בין שתי התמונות, זה אומר שמשהו בפעולה של מכונת הצילום אינו מדוייק.
זה המשל. הנמשל הוא שמכונת הצילום היא ה-AI שלנו, תמונת המקור היא דאטה האימון האנושי, והצילום שיוצא מהמכונה הוא הדאטה הסינתטי שה-AI מייצר בעצמו. עכשיו, אם יש לנו AI שתפס באופן מושלם את מהות השפה והשיח האנושיים, אז לא אמור להיות הבדל בין שני סוגי הדאטה. ולעומת זאת, אם יש הבדל ניכר בין התמונה המקורית לצילום, הרי שזה אומר שמשהו ב-AI שלנו איננו מדוייק; מכונת הצילום המתוחכמת שבנינו כנראה מכילה שריטות על הזכוכית שלה, שמעוותים את התוצרים שלה.
זהו המבחן שאני מציע לשדרוג מבחן טיורינג - בואו נקרא לו כאן "מבחן הזוויות". וכיוון שעכשיו הוא יושב לנו טוב בראש, שווה לשאול - מה קורה שמפעילים אותו?
ובכן, אני שמח לבשר לכם שאני לא היחיד שחשב עליו, ויש כמה מאמרים שיצאו בנושא. ב-2023, עמוק בתוך ההתלהבות מכל ה-GPT למיניהם, ישבו כמה חוקרים מאוניברסיטת רייס (RICE) שבטקסס, ועשו ניסוי דומה למה שתיארתי. הם לקחו מודלים מוכרים לייצור תמונות של פרצופים, וייצרו איתם הרבה תמונות של פרצופים. עם התמונות הללו הם אימנו מודל חדש, וייצרו איתו תמונות של פרצופים גם כן. וכך הלאה, דור אחרי דור של מודלים, כל דור מבוסס על תוצרי הדור הקודם. כלומר, הם בעצם עשו את "ניסוי ג'פטו ופינוקיו" שלנו שוב ושוב, בשרשרת, ובסוף התהליך הם בדקו מה האיכות של התמונות שכל דור ייצר.
לקראת הניסוי, אני מדמיין לעצמי מה חשבו החוקרים שהם יקבלו. הגירסה האופטימית היתה כנראה שהתמונות בכל דור יהיו טובות כמו הדורות שקדמו להם. הגירסה הפסימית יותר היתה שהתמונות החדשות יפלו באיכותן, בגלל חוסרים כלשהם במודל, אבל יתייצבו על רמה סבירה כלשהי. ובכן, מה אתם חושבים שקרה?
מה שקרה היה משהו אחר לחלוטין - גרסה פסימית על סטרואידים. בכל סבב שכזה, הביצועים של המודל הלכו והתדרדרו. התמונות שנוצרו לאחר כמה דורות הכילו עיוותים, פסים מוזרים שהחלו להופיע על הפרצופים שהמודל יצר:
בגרסאות שונות של הניסוי המגוון האנושי שהמודלים יצרו בכל דור חדש הלך והצטמצם, והתכנס לאוסף תמונות שנראות מאד דומות זו לזו - תמונות של גברים ונשים לבנים עם שער כהה ועיניים מערביות, שמביטים ישר למצלמה ומחייכים. שימו לב כאן לאוסף התמונות שהיה בהתחלה…
… לעומת אלו שנוצרו לאחר כמה דורות:
בכל …
From the publisher's feed