קישורים

Attention is All You Need

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

End-to-End Object Detection with Transformers

Vision-Transformer-papers

https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a

https://paperswithcode.com/methods/category/vision-transformer

קישורים

• Ai-junk

• כתבה למטיבי לכת בעברית על RL

• DeepMind is Using AI to Teach Robots to Play Soccer

נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.

גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?

נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון

Label spreading, transfer learning, kde

או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.

יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.

למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו

Json / Data Class

נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.

ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.
ספריות שימושיות:

JSONFormer - https://github.com/1rgs/jsonformer

OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates

O

Data Operations IL

https://www.linkedin.com/groups/9236026/

Links:

https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables.

https://github.com/kkondo1981/aglm

GAM - Generalized additive models

https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515