70 episodes

אורי גורן ותמיר נווה מדברים על
Machine Learning
ואתגרים בתעשייה עם מומחים מהתחום.

ExplAInable Tamir Nave & Uri Goren

    • Science
    • 5.0 • 1 Rating

אורי גורן ותמיר נווה מדברים על
Machine Learning
ואתגרים בתעשייה עם מומחים מהתחום.

    Consistency Large Language Models עם מייק ארליכסון

    Consistency Large Language Models עם מייק ארליכסון

    למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר.
    אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר.
    Consistency LLMs מנסים לקשור את שתי הקצוות, ולהתאים את ההטרנספורמר לאלגוריתם הפענוח.
    מרוויחים מזה מודלים יעילות יותר, ואפשרות למיקבול.
    מייק יספר לנו איך הקסם הזה קורה

    • 29 min
    Predictive mean matching and imputation - השלמת ערכים חסרים איטרטיבית

    Predictive mean matching and imputation - השלמת ערכים חסרים איטרטיבית

    ערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching.
    אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn.נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.

    • 8 min
    כאן - Kolmogorov Arnold network

    כאן - Kolmogorov Arnold network

    הרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם - ולא היה ברור מה המהומה.Kolmogorov Arnold networkזו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר.
    בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר - נשמע מדהים.
    אבל, הפוטנציאל הוא גדול אבל המציאות היא בפרטים הקטנים - אותם נכסה בפרק הזה

    • 20 min
    רק לא ראג RAG

    רק לא ראג RAG

    מי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש.
    בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות
    1. אתם אחראיים (משפטית) על הפלט שלהם - אם אין בן אדם בלופ - יש בעיה
    2. שאילתות סמנטיות לא מתאימות להמון מקרים, חיפוש וקטורי הוא לא התשובה לretrieval
    3. זה נראה כאילו חיפוש וקטורי נועד לחסוך עלויות, אבל האם באמת LLM עדיין כ״כ יקרים שצריך אותו?
    4. האם זו בעיית איחזור או בעית שאלה-תשובה? בהרבה מהמקרים פשוט לא צריך LLM בקצה
    5. הסיבה ההנדסית - בראג יש שני מודלים שונים, שלא בטוח מדברים זה עם זה, צריך לוודא שיש תרומה הדדית

    • 10 min
    חיפוש וקטורי עם מירב גרימברג

    חיפוש וקטורי עם מירב גרימברג

    מירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים.
    לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם.רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב.מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון.על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.

    • 22 min
    טרנספורמרים וסדרות עיתיות - ש.ח

    טרנספורמרים וסדרות עיתיות - ש.ח

    עכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו.פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.

    • 18 min

Customer Reviews

5.0 out of 5
1 Rating

1 Rating

Top Podcasts In Science

Radiolab
WNYC Studios
Hidden Brain
Hidden Brain, Shankar Vedantam
StarTalk Radio
Neil deGrasse Tyson
Something You Should Know
Mike Carruthers | OmniCast Media | Cumulus Podcast Network
Ologies with Alie Ward
Alie Ward
Science Friday
Science Friday and WNYC Studios

You Might Also Like

חיות כיס Hayot Kiss
כאן | Kan
עושים טכנולוגיה
רשת עושים היסטוריה
גיקונומי
ראם שרמן ודורון ניר
בזמן שעבדתם
mako מאקו
עושים היסטוריה עם רן לוי Osim Historia With Ran Levi
רשת עושים היסטוריה
מנועי הכסף
ADIO