בחדרי מאמרי‪ם‬ Shaked Zychlinski and Ophir Sarusi

ממש בתחילת 2023 סיילספורס חשפו את הדור החדש של בליפ, מודל הטקסט מתמונה שהציגו לראשונה בתחילת 2022. מעבר ליכולות משודרגות - כולל יכולת לנהל שיחה שלמה עם המודל על מה שמופיע בתוך התמונה - סיילספורס שמו דגש הפעם על פיתוח המודל תוך שימוש במודלי שפה מבוססי קוד-פתוח הזמינים לכל אדם בעל גישה לרשת. כל מה שהם עשו כביכול, הוא רק לחבר את המודלים ביחד בעזרת טרנספורמר. אבל ברור שיש כאן יותר מזה.

לינק לדמו של בליפ-2 בהאגינג-פייס

// BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

מאמר שהוצג על ידי אדובי בסוף 2022 מציג את המודל החדש מאחורי הפיצ׳ר הכל-כך מוכר של פוטושופ - הסרת אובייקטים לא רצויים מהתמונה. מסתבר שזה לא רק מודל אחד, אלא שילוב של לא פחות מחמש רשתות שונות יחד עם אלוגריתם קלאסי שמנצח על כולן - וכל הדבר המדהים הזה רץ על המחשב האישי שלכם.

לינק לסרטון על פאץ׳-מאץ׳ שנזכר בפרק

// Inpainting at Modern Camera Resolution by Guided PatchMatch with Auto-Curation

פרק ראשון של ״בחדרי מאמרים״ - שקד נשמע מצונן למרות שהוא לא, אופיר נשמע אש כי הוא אכן כן. אחרי שעה וחצי של נסיונות להצליח להקליט כמו שצריך, יצאנו לדרך עם המאמר הראשון שלנו, שמגיע מלא אחרת מאשר בייט-דאנס הסינית, האמא של טיק-טוק.
מאמר הרבה יותר הנדסי מבדרך כלל, על איך מאמנים ומעלים לאוויר מודלים בגדלים של טרה-בייטים, ומה הבעיות שנתקלו בהם הסינים כשרצו לעשות זאת.

// Monolith: Real Time Recommendation System With Collisionless Embedding Table

ברוכים הבאים ל״בחדרי מאמרים״, הפודקאסט החדש שלנו! קחו 3 דקות ובואו להכיר קצת אותנו, אופיר ושקד, ולשמוע על מה הפודקאסט הזה בעצם הולך להיות - וגם על מה הוא לא הולך להיות.