רברס עם פלטפורמה

רברס עם פלטפורמה

פודקאסט על תוכנה, מוצר, ותשתיות — בעברית.

  1. 5d ago

    517 - Bumpers 92

    פרק מספר 517 של רברס עם פלטפורמה - ואנחנו בבמפרס 92! רן, דותן ואלון מתכנסים לדבר על הטרנדים החמים בעולמות הפיתוח, החל מ-Loop Engineering וסקילים לאג'נטים, דרך המעבר של Bun ל-Rust, ועד לטריקים יצירתיים לחיסכון בטוקנים ומבחן הטיורינג החדש. [02:22] קול קורא ולופ אינג'ינרינג רן מזכיר שהקול הקורא (CFP) לכנס רברסים 2026 עדיין פתוח (עד ה-26 ביולי) - זה הזמן להגיש הצעות להרצאות! שיחה על Loop Engineering - מתודולוגיה לאוטומציה של פיתוח מבוסס אג'נטים שמטריפה את הרשת. אדי אוסמאני (Addy Osmani) כותב על זה לא מעט בטוויטר. מומלץ לקרוא את הפוסט המסכם שלו בנושא שעושה סדר במרכיבים השונים של הלופים ואיך להשתמש בהם נכון. [11:15] המעבר של Bun מ-Zig ל-Rust ההחלטה הארכיטקטונית המעניינת מאחורי המעבר של פרויקט Bun - נכתב על כך פוסט מפורט בבלוג שלהם: Bun from Zig to Rust. דיון על ההבדלים בניהול זיכרון ב-Zig לעומת Rust ועל היתרונות לטווח ארוך למרות הבינארי הקטן ש-Zig מציעה. האם עקומת הלמידה הקשוחה של Rust כבר לא רלוונטית בעידן שבו האג'נט כותב ומקמפל את הקוד בעצמו? [19:45] ערימות של סקילים לאג'נטים דותן משתף על ריפוזיטורי מעולה של אדי אוסמאני שמכיל סקילים שימושיים לאג'נטים: agent-skills. המלצה רותחת על סקיל לכתיבת דוקומנטציה: Documentation Writer. דותן ניסה אותו על פרויקטים ישנים וגילה שהאג'נט יכול לכתוב דוקומנטציה מושלמת מאפס ב-5 דקות, תהליך שבעבר לקח שעות של כתיבה וריבים פנימיים. [26:04] לדבר כמו איש מערות כדי לחסוך טוקנים אלון מציג פתרון לבעיית ה"חפירות" של האג'נטים (והבזבוז הנלווה של טוקנים). הרעיון הוצג בציוץ של Hesamation. הפרויקט עצמו, Caveman, גורם לאג'נט לפשט את השפה, לדבר כמו "אדם קדמון" ולתמצת ניסוחים לשליש מגודלם המקורי. טיפ נוסף מאלון: במקום לקרוא הררי טקסט, אפשר לבקש מהאג'נט לייצר סימולציות והמחשות ויזואליות ב-HTML כדי להבין מצבים מורכבים כמו עומסי טראפיק ו-Circuit Breakers. [30:17] פינת המצחיקונים: מבחני טיורינג, משקולות ופרומפטים מוחבאים מבחן טיורינג החדש: נסו לגרום ל-LLM פשוט לספור עד 100. תראו את סרטון הטיקטוק של Husk שמדגים איך שלושה אג'נטים מנסים לחשוב על אסטרטגיה מורכבת לספור ביחד - ונכשלים. In The Weights: האם השם שלכם נמצא בתוך המשקולות של מודלי השפה? האתר In The Weights מאפשר לכם לבדוק מה ה-AI חושב עליכם (רן גילה שהוא זמר ומשקיע, ואלון הוא בכלל מדבב). Prompt Injection בלינקדאין: המשתמש tmuxvim הוסיף פרומפט מוחבא בפרופיל שלו שגורם לבוטים של מגייסים לפנות אליו אוטומטית באנגלית עתיקה ומוגזמת בנוסח ימי הביניים. חיסכון בעלויות דרך תמונות: איך חותכים את צריכת הטוקנים כשיש הרבה קונטקסט? ממירים את הכל לתמונה! הפרויקט pxpipe מדגים איך העברת היסטוריה ומסמכים כטקסט-בתוך-תמונה מוזילה משמעותית את עלות הקריאות למודלים. האזנה נעימה!

  2. Jun 17

    516 - Carburetor 41 Open source and agentic coding

    פרק מספר 516 של רברס עם פלטפורמה - קרבורטור מספר 41. הפעם רן ואורי מארחים את נתי לשיחה על נקודת המפגש המרתקת שבין קוד פתוח לקידוד מבוסס סוכנים (Agentic Coding). דיברנו על העתיד הדיסטופי והאופטימי של מפתחי קוד פתוח, איך משווקים מוצרים ל-Agents, ולמה שורת הפקודה (CLI) חוזרת אלינו בענק. [01:04] העתיד המדומיין של AI (סיפורו של OpenClaw) נתי משתף סיפור משעשע על ניסיון לחקור את "OpenClaw". הזיות (Hallucinations) של מודלים: Claude מאשר את העובדות, בעוד ש-Gemini מנתח שמדובר בהמצאה עתידית (פברואר 2026). הבנה שמודלי שפה (LLMs) הם מנועים הסתברותיים ולא מנועי חיפוש עובדתיים. [05:58] החזון הדיסטופי: האם AI יהרוג את הקוד הפתוח? בעיית ההעתקה: בעבר קוד הוגן על ידי רישיונות (כמו AGPL), היום קל לבקש מהמודל לשכתב קוד משפה אחת לאחרת (למשל מ-NodeJS ל-Rust) בעלויות אפסיות. קריסת מודלים עסקיים: עלויות התמיכה והאופרציה (Operation) יורדות כי ה-Agent מתקן תקלות לבד, מה שחותך את ההכנסות של חברות כמו Red Hat. עומס על ה-Maintainers: קוד מג'ונרט על ידי Agents נראה מעולה ומתועד היטב, אבל לא תמיד נכון ארכיטקטונית או לוגית. גישות התמודדות: חלק דורשים לקבל את ה-Prompt (הכוונה) ולא את הקוד עצמו, בעוד שאחרים (כמו יוצר שפת Zig) אוסרים לחלוטין גישה של AI לפרויקט. [15:15] החזון האופטימי: שיווק לסוכנים (GEO) מעבר מ-SEO ל-GEO (Generative Engine Optimization): סוכני AI הם הלקוחות החדשים. איך Agent בוחר כלים? לפי איכות הקוד, הפופולריות שלו ב-GitHub, ובעיקר לפי התיעוד. קוד פתוח הופך לכלי שיווקי קריטי (Open Core) כדי שהסוכנים יוכלו למצוא, להבין ולהמליץ על המוצר. מודלים היברידיים ו-Freemium: מוצרים (כמו Postits) מציעים גישה ללא חומת תשלום (Paywall) בשלבים הראשונים, מה שמאפשר ל-Agents לעבוד איתם בקלות דרך API (Headless SaaS), ואפילו לבצע רכישות בעצמם בהמשך דרך Stripe. [30:29] שובו של ה-CLI ומגבלות ה-MCP הדיבייט סביב MCP (Model Context Protocol): הפרוטוקול כבד, "זולל" טוקנים (Token hungry) עבור הקונטקסט, ודורש תחזוקה של שרתים נוספים. למה Agents כל כך אוהבים CLI (שורת פקודה)? גישה ישירה לאקוסיסטם המקומי והרשאות (כמו Kubernetes או סביבות ענן) בלי לחשוף מפתחות לשירות חיצוני. יכולת לבצע מניפולציות מורכבות בצד הלקוח (Chaining, Grep, Sed) מבלי לשנות קוד ב-Backend, מה שהופך את המודלים לאנשי DevOps מעולים. [36:17] רישיונות קוד פתוח וה"נשמה" של המוצר האתגר באכיפת רישיונות (כמו GPL) בעולם שבו קשה להוכיח על איזה קוד המודל התאמן ואם בוצעה העתקה. הבדל חשוב בטרמינולוגיה: מודלים של "Open Weights" לעומת מודלים שה-Training Data שלהם באמת פתוח. תוכנה כיצירת אומנות מול קומודיטי (Commodity): האם קוד מג'ונרט יכול להחליף את החזון וה"נשמה" (Soul) של מפתחים בולטים? ההשוואה לעולם המוזיקה מדגישה שמשתמשים הולכים אחרי האומן והחזון, לא רק אחרי הקוד היבש. [50:25] רגולציה ומודלי Open Weights אורי מעלה נקודה מעניינת על החסימה של מודל Fable 5 / Mytos 5 (של Anthropic) למשתמשים מחוץ לארה"ב על ידי הממשל האמריקאי. ההשפעה של רגולציה: ה"תקרת זכוכית" הזו עלולה לפגוע בחברות המסחריות האמריקאיות בטווח הקצר, ודווקא לדחוף קדימה מודלים פתוחים (Open Weights) סיניים או אירופאים שאינם כפופים לאותן מגבלות. האזנה נעימה!

  3. May 7

    515 - Bumpers 91

    פרק מספר 515 של רברס עם פלטפורמה - באמפרס 91. רן תבורי, דותן ואלון מתכנסים לפרק באמפרס עמוס בחדשות טכנולוגיות, AI, שינויים בשוק התעסוקה, כלים חדשים למפתחים, והדילמה הנצחית של "אש או בוץ" בפרויקטים של קוד פתוח. [00:51] השקיעה של Stack Overflow רן פותח עם גרף שמראה את צניחת כמות השאלות הנשאלות ב-Stack Overflow לאורך השנים. האפקט ברור: מרגע שהבוטים שלנו מיצו את התוכן והחלו לתת לנו תשובות מיידיות, הטראפיק לאתר התרסק. דותן מציין שהירידה הכללית החלה עוד קודם, אך קפצה זמנית בתקופת הקורונה. [04:10] כולם מדברים על סקילים עולם סוכני הפיתוח (Agents) לא זז היום בלי סקילים (Skills). מקום מעולה להתחיל בו הוא האתר https://skills.sh/. דוגמה כיפית ושימושית מתוכו: סקיל לספריית Manim (של ערוץ היוטיוב 3Blue1Brown) שמאפשר ליצור אנימציות מתמטיות בקלות. הנה ציוץ הדגמה בטוויטר, והקישור לסקיל עצמו ב-Skills.sh. בעקבות הביקוש, נוצרה ממש תעשייה של מנועי חיפוש וספריות של סקילים: http://skills.sh (למקרה שפספסתם) https://context7.com/ https://skillsmp.com/ ריפו מעניין בגיטהאב: https://github.com/mhattingpete/claude-skills-marketplace [07:44] העתיד של ממשקי המשתמש ו-MCP Apps הסטנדרט החדש, MCP-apps, מאפשר להעביר רכיבי HTML אינטראקטיביים ישירות בתוך MCP (ולא רק טקסט). הפרויקט מובל בין היתר על ידי ליעד ועידו, מי שהקימו בעבר את https://mcpui.dev/. שווה לראות את סרטון ההדגמה ביוטיוב. ליעד השיק לאחרונה כלי מעניין נוסף בשם https://ora.run/ שמאפשר לכם לבדוק עד כמה האתר או הביזנס שלכם מותאם לקריאה על ידי סוכני AI (Agent-Ready). דיון פילוסופי קצר: איך ייראה עתיד ה-UX? חברות ענק כמו סיילספורס (Salesforce) כבר עברו להציע חוויית Headless מלאה שפונה קודם כל לאייג'נטים. [13:35] דונלד קנות', קלוד, והסקפטיות שנשברה פרופסור דונלד קנות' (Donald Knuth), מאבות מדעי המחשב, פרסם לאחרונה מאמר מרתק תחת הכותרת Claude Cycles. המסר המרכזי: קנות' התחיל כסקפטי מוחלט בנוגע ליכולות של כלי AI לכתוב קוד איכותי, אבל לאחר סדרת ניסויים, הוא מודה שהופתע לטובה. [15:52] פלטפורמות ניהול והרצה לאייג'נטים לכתוב סוכן זה קל, להריץ אותו בסביבה מאובטחת בסקייל ללקוחות זה סיפור אחר לגמרי. הפתרון? פלטפורמות Agent Hosting שצצות עכשיו בכל מקום: אנתרופיק (Anthropic) מציעים Managed Agents. גם OpenAI חזק במשחק עם פלטפורמת Frontier. ואמזון (AWS) הציגה את Bedrock AgentCore. [23:14] פיטורי AI ועתיד שוק התעסוקה התעשייה עוברת שינויים כואבים. חברות כמו Block ו-Coinbase מקטינות את מצבת כוח האדם ומצמצמות צוותים כפועל יוצא מהתייעלות מבוססת AI. למרות זאת, נשמעים גם סיפורים על חברות שמעדיפות כרגע לשכור מפתחים ג'וניורים זולים במקום לשלם על עלויות תפעול גבוהות של כלי AI. אז מה העתיד טומן בחובו? אולי לפחות נוכל לתת לרובוט לקפל לנו את הכביסה. [25:54] כלים לטרמינל (ההמלצה של אלון) כשהטרמינל עמוס באייג'נטים שרצים ברקע, כדאי לעשות סדר. אלון ממליץ בחום על https://cmux.com/, כלי טרמינל נוח במיוחד שמבוסס על Ghostty, עם תמיכה בטאבים ורטיקליים שמאוד מקלים על העבודה עם סוכנים מרובים (למרות שרן טוען אצלו זה קצת "התעייף" ונהיה אטי). [31:11] הפריצה לורסל (Vercel) ורסל סבלה לאחרונה מפריצת אבטחה (ההודעה הרשמית כאן), שבמהלכה כנראה דלפו מפתחות (API Keys) של לקוחות ונמכרו ברשת האפלה. אם עדיין לא עשיתם רוטציה למפתחות שלכם שם – זה הזמן. [32:41] פינת הקוד הפתוח של דותן: "אש או בוץ" (🔥 או 💩) דותן מביא רשימה של פרויקטים חדשים בגיטהאב ומסווג אותם לשתי קטגוריות: "בוץ" (💩 - פרויקטים מנופחים מדי, ממוקדי-הייפ שישברו לכם את צורת העבודה) ו"אש" (🔥 - פרויקטים נהדרים ושימושיים): https://github.com/Hmbown/DeepSeek-TUI — 💩 סוכן טרמינל לקידוד המכוון רק ל-DeepSeek. יכול לעניין, אבל כדור בוץ אמיתי. https://github.com/addyosmani/agent-skills — 💩 אוסף של 30,000 כוכבים שאמור ללמד את ה-Agent שלכם לכתוב קוד טוב, אבל בפועל רק מגביל ומסרס את היכולות של המודל. https://github.com/bytedance/deer-flow — 💩 פרויקט ענק של ByteDance לסוכני מחקר לטווח ארוך (Long-horizon). https://github.com/anthropics/financial-services — 🔥 מאגר מרתק של אפליקציות ורפרנסים שאנתרופיק שחררה במיוחד לעולמות הייעוץ והשירותים הפיננסיים. שווה הצצה. https://github.com/cheahjs/free-llm-api-resources — 🔥 רשימה אדירה שנאספה ידנית ומאגדת ממשקי API חינמיים להרצת מודלי שפה. https://github.com/googleworkspace/cli — 🔥 ה-CLI הרשמי של Google Workspace, אידיאלי לאוטומציות ולאייג'נטים שמדברים עם שירותי גוגל. https://github.com/BoundaryML/baml — 💩 שפה או פריימוורק להנדסת פרומפטים. היום פשוט אפשר לתת לקלוד לכתוב לכם את הפונקציה במקום להסתבך עם ספריות נוספות. https://github.com/embassy-rs/embassy — 🔥 פריימוורק אסינכרוני נהדר לפיתוח בעולמות ה-Embedded הכתוב ב-Rust. https://github.com/dani-garcia/vaultwarden — 🔥 שרת קוד פתוח תואם Bitwarden, כתוב גם הוא (כמובן) ב-Rust. https://github.com/reubeno/brush — 🔥🔥 מימוש POSIX/Bash חתיך, בטוח ויעיל שנכתב מחדש ב-Rust. https://github.com/Pumpkin-MC/Pumpkin — 🔥 שרת מיינקראפט סופר יעיל ב-Rust, מושלם להורים שמקבלים משימה "להרים שרת לילד". https://github.com/rtk-ai/rtk — 💩 כלי שאמור לחסוך עשרות אחוזים מהטוקנים שלכם על ידי שינוי הפלט של פקודות טרמינל (כמו Git). מסוכן – כי אתם משנים למודלים את הצורה המוכרת והמקורית שהם אומנו עליה. האזנה נעימה!

  4. May 6

    514 - Attack Analytics

    פרק מספר 514 של רברס עם פלטפורמה - Attack Analytics. בפרק זה רן ואורי מארחים את ד"ר גיא וייזל, Tech Evangelist בחברת Cato Networks, לשיחה מרתקת על האופן שבו בינה מלאכותית משנה את חוקי המשחק בעולם הסייבר. דיברנו על מודלי AI מתקדמים, כיצד הם מאיצים מתקפות של האקרים אך גם משפרים את יכולות ההגנה, ואיך פרוטוקולים עתיקים יכולים להוות נקודת תורפה מסוכנת לתשתיות פיזיות. [00:00] ל"ג בעומר, כנס רברסים ופתיחת הפרק חג שמח! מקליטים על הדרך למדורה של רבי שמעון. עדכונים לגבי כנס רברסים 2026: אנחנו כבר עובדים במרץ ומגייסים ספונסרים לכנס הקהילתי. אם הארגון שלכם מעוניין לתמוך, מוזמנים לשלוח לנו מייל ל-team@reversim.com (או כל וריאציה אחרת שעובדת לכם). קול קורא (CFP) להגשת הרצאות לכנס ייפתח ממש בקרוב. [01:05] הכירו את ד"ר גיא וייזל ואת חברת Cato Networks גיא משמש כ-Tech Evangelist ב-Cato Networks, תפקיד היושב בתפר שבין קבוצות ה-R&D והמוצר לבין עולם השיווק, החדשנות, ועבודת השטח בעולמות הסייבר וה-AI. קצת על קייטו נטוורקס: החברה, המונה כ-1,800 עובדים (עם מרכז פיתוח גדול בתל אביב), חלוצה בקטגוריית ה-SASE (Secure Access Service Edge). הפלטפורמה מספקת איחוד של רשת ואבטחה כשירות בענן - מעין "כיפת ברזל" לסניפים ומשתמשים של ארגונים ברחבי העולם. במקום להסתמך על ריבוי מוצרי נקודה (Point Solutions), הארגון מקבל תמונה מלאה וקונטקסט רחב על הכל תחת פלטפורמה אחת (הכוללת SD-WAN, DLP, CASB, Zero Trust ועוד). [06:07] עידן ה-"Mytus Moment" והשפעת ה-AI על מתקפות סייבר רן מזכיר מודל מיתולוגי ומתקדם ממשפחת Claude של Anthropic שמסוגל לאתר ולנצל פרצות אבטחה ביעילות מפחידה. גיא מתאר את המצב כ-"The Mytus Moment" – סמן לתעשייה על כניסתם של מודלים מתקדמים (מבית אנתרופיק, OpenAI ואחרים) שמייצרים קפיצת מדרגה בעולם התקיפה (ראו גם: Cato joins OpenAI's Trusted Access for Cyber TAC). מה בעצם משתנה בפועל? מתודולוגיות התקיפה עצמן (Reconnaissance, Lateral Movement) נותרו דומות, אך ה-Scale והמהירות צמחו משמעותית. ה-AI מצמצם את זמן התגובה מגילוי ה-Zero-day ועד לניצול בפועל – משבועות וחודשים לשעות או דקות. במקום סריקות גנריות (כמו של Script Kiddies), סוכני AI יודעים כעת לתפור וקטורי תקיפה מותאמים אישית למטרה ספציפית, ולשרשר חולשות (Vulnerability Chaining) כדי להתקדם ברשת בצורה עצמאית וחכמה. [16:04] כשה-Agents חובשים כובע לבן: איך משנים את תפיסת ההגנה בדיוק כפי שתוקפים נעזרים ב-AI, ארגוני הסייבר חייבים לאמץ Agents הגנתיים כדי להתמודד עם קצב האיומים החדש. מעבר ממנגנונים מבוססי חתימות (Signatures) לזיהוי אנומליות ופעילות דינאמית מבוססת קונטקסט מלא של המשתמש והרשת. שינוי דרמטי במדדי ההצלחה (SLA) של צוותי אבטחה: המיקוד עובר מ-Time to Patch (זמן תיקון החולשה). להתמקדות ב-Time to Protect (זמן ההגנה הרציפה בסביבת הריצה). יש חשיבות גוברת ל-Shift Right (הגנה על ה-Production בזמן אמת) ולא רק ל-Shift Left. מלכודות לסוכני AI: מחקר של קייטו חשף את WebPromptTrap – פרצת Indirect Prompt Injection חדשה שמדגימה כיצד תוקפים יכולים לחטוף סוכני AI דרך תוכן זדוני המוטמע באתרים. [18:04] מתקפות על תשתיות פיזיות: הבעיה עם פרוטוקול Modbus Modbus הוא פרוטוקול תקשורת ותיק (משנת 1979) המשמש לבקרי תעשייה (PLC ו-SCADA), המפעילים תשתיות פיזיות כמו סכרים, מערכות אנרגיה סולארית, משאבות וצנטריפוגות. הפרוטוקול נעדר אבטחה בסיסית או הצפנה, ולמרות זאת, בשל תהליכי מודרניזציה או טעויות אנוש, הוא נחשף לעיתים ישירות לאינטרנט. מחקר של קייטו שבוצע לאורך 3 חודשים חשף שרכיבי Modbus ב-70 מדינות (ביניהן ארה"ב, צרפת ויפן) נמצאים תחת מתקפות אמיתיות. אילו סוגי מתקפות נצפו על ידי המערכות? איסוף מידע (Reconnaissance). מתקפות מניעת שירות (DoS) שנועדו למנוע מהמפעילים לשלוט בבקר. זיהוי סוג המערכת (Fingerprinting). ניסיונות אקטיביים של כתיבה ל-Registers (זיהו מתקפות מתשתית סינית) במטרה לשנות פיזית פעולות של חיישנים ומנועים. שילוב של יכולות ה-Agentic AI – שיודעות לזהות בקר פתוח ולשגר אקספלויט תוך שניות – יחד עם המצב הגיאופוליטי המתוח, הופכים את האיום על תשתיות לאומיות לממשי ומהיר יותר מאי פעם. האזנה נעימה!

  5. Apr 30

    513 - Hebrew PDF at AI21Labs

    פרק מספר 513 של רברס עם פלטפורמה. רן ואורי מארחים את יובל פלג לוי מ-AI21 Labs לשיחה על אחד האתגרים המורכבים והכאובים בעולם ה-AI הארגוני: חילוץ והבנה של קובצי PDF, בדגש על השפה העברית. יובל משתף במחקר מרתק וטריק יצירתי במיוחד שהם פיתחו כדי לגרום למודלים לקרוא עברית בצורה חלקה. [00:00] היכרות ומה עושים ב-AI21 יובל נמצא ב-AI21 כבר כארבע שנים (לפני כן עבד ב-SparkBeyond וב-Ginger Software). ב-AI21 עסק תחילה בסיכומים וב-Pre-training של המודל Jamba, וכיום מתמקד בעולם ה-Agents. המערכת המרכזית עליה עובדים היום בחברה נקראת Maestro, שנועדה לתת שליטה (Controllability) ולהוציא את המקסימום מאייג'נטים מבחינת איכות ועלויות. הקשר ל-PDF: מדובר בבלוק מידע בסיסי בעולם. אם מכניסים לאייג'נט PDF "מורעל" שבו המילה 'רן' מפוענחת כ-'דן', כל ה-Pipeline וההקשר הסמנטי נהרסים. [04:38] למה PDF זה כזה כאב ראש? בניגוד ל-HTML או LaTeX, פורמט PDF הוא נורא לא סמנטי ומתבסס בעיקר על גרפיקה. הפרימיטיבים המרכזיים שם הם שורות מרחפות וגרפיקות וקטוריות. למשל, טבלה היא פשוט אוסף של שורות עם ציור של קווים ביניהן. חבילות מודרניות לקריאת מסמכים (כמו MinerU או Marker) מנסות להרכיב Pipelines שמשלבים מודלים לזיהוי אזורים ויזואליים יחד עם חילוץ מטא-דאטה, אבל זה מורכב. צלילה לעברית: ב-AI21 יצרו דאטה סינתטי וגילו שיש צניחה משמעותית בביצועים (עשרות אחוזים) של כמעט כל המודלים בשוק כשמדובר בעברית, כולל מודלי State of the Art. [15:56] הפתרון: לעבוד על המודל בעיניים מדעני נתונים בדרך כלל בוחרים בין כתיבת חוקים (יוריסטיקות) לבין אימון מודל מאפס עם המון דאטה. ב-AI21 רצו להימנע משני הפתרונות הללו. הרעיון: לקחת מודל שטוב באנגלית, ולגרום לו לחשוב שהוא קורא אנגלית - למרות שהמסמך בעברית. אי אפשר פשוט לתרגם את המילים לאנגלית, כי אורך המילים ישתנה וידרוס אלמנטים גרפיים וגבולות של טבלאות. אי אפשר להמיר את המילים לסתם מספרים או תווים, כי המודל לא מבין הקשר כזה. הפתרון שנבחר: לקחו מילים פופולריות באנגלית ומיפו אותן לגודל התיבה (Bounding Box) שלהן. עבור כל מילה בעברית במסמך, מצאו מילה באנגלית שיש לה בדיוק את אותן מידות פיזיות של גובה ורוחב, והחליפו אותה במסמך (תוך שמירת המיפוי במילון). התוצאה: מסמך PDF מרונדר מחדש, שנראה ויזואלית תקין לחלוטין עם רווחים מדויקים, אבל קריאה שלו באנגלית היא ג'יבריש מוחלט ללא כל משמעות סמנטית. [24:30] מדידות, ביצועים ו-DeepSeek-OCR כדי למדוד את ההצלחה, יצרו דאטה-סט בעברית שתויג ידנית באמצעות Label Studio. השתמשו בפורמט בדיקה מקובל בתעשייה בשם OmniDocBench, המשתמש במדדים כמו Edit Distance לטקסט ו-Tree Edit Distance לטבלאות (שניתן לייצג במבנה עצי כמו HTML). התוצאות: שיפור מרשים בכל המודלים שניסו (קפיצה של כ-7-8 אחוזים במודלים חזקים). הקסם האמיתי הוא במודלים מסוג On-Prem (עבור בנקים או גופים ביטחוניים שלא יכולים להשתמש ב-API חיצוני) - שם השיטה הקפיצה את אחוזי ההצלחה מ-10% ל-50%. כדי לחסוך את זמן העיבוד שדורש הרינדור מחדש של ה-PDF בזמן אמת, AI21 השתמשו בשיטה הזו כדי לאסוף ולייצר מסד נתונים עצום. בעזרתו הם אימנו מודל משקולות מבוסס DeepSeek-OCR שעושה את העבודה בצורה מהירה ויעילה, וגם יודע להתמודד עם מסמכים סרוקים (שאין להם מטא-דאטה להישען עליו). [35:00] מה לגבי שפות אחרות? ערבית: בדקו את השיטה גם על ערבית, וגילו שחלק מהמודלים הגדולים מציגים מדדי ביטחון (Self-Consistency) גבוהים מאוד בערבית ולכן השיטה פחות השפיעה שם, אבל כן עזרה משמעותית במודלים קטנים (Mini/Nano). השערה: מודלים של שפה הם חיות שניזונות ממידע קיים, ופשוט יש הרבה פחות מידע זמין בעברית ברחבי האינטרנט ביחס לשפות אחרות. קריאה נוספת: RTL PDF Parsing — הבלוג של AI21 האזנה נעימה!

  6. Feb 24

    512 - Carburetor 40

    פרק מספר 512 (חזקה תשיעית!) של רברס עם פלטפורמה - קרבורטור מספר 40, שהוקלט ב-24 בפברואר 2026. נכון למועד ההקלטה עדיין אין מלחמה [לא התיישן טוב…], ואורי ורן מארחים את הנביא האורח נתי שלום לשיחה, דיונים, וויכוחים ותחזיות (דיסטופיות ברובן) על עולם שבו ה-AI כבר לא רק כותב קוד, אלא מחליף את המציאות כפי שהכרנו אותה. [01:58] "משהו גדול קורה": הניתוח של Matt Shumer בלוג-פוסט של המפתח Matt Shumer, שנקרא Something Big is Happening התפרסם בלא מעט מקומות והיכה גלים. מעבר מסקפטיות מוחלטת ("זה בחיים לא יעבוד") למצב שבו המודל עושה את כל עבודת הקידוד שלו. נתי - מה שמעניין פה זה הניתוח של שוק העבודה, ואיך נראה שוק ה-Hiring כפי שהוא היום. הדיבורים על "הכתובת על הקיר" זה כבר פאסה – "הכתובת היא כבר בכיס כמעט". הנתונים מראים ירידה משמעותית ב-Hiring שהתחילה כבר משנת 2025 ונמשכת לתוך 2026. "זה קורה עכשיו - ועכשיו אתה צריך לבחור באיזה צד אתה נמצא: הצד המרוויח או הצד הנפגע". רן מדגיש שזה לא רק למפתחים – גם עורכי דין ורואי חשבון ובכל שאר המקצועות צריכים להחליט באיזה צד הם. יש כאן (לפחות) שני אספקטים עיקריים - איך אנחנו רואים את שוק התוכנה, ואז זה משפיע על כל שאר שוק העבודה. אורי - אנחנו רואים את ההשפעה מבפנים, בתוך שוק התוכנה. האם ישנן תעשיות שלא מושפעות עדיין, או לפחות לא מרגישות את זה? למשל יוצאי יחידות טכנולוגיות שמאוד מבוקשים בשוק, אבל ארגונים בטחוניים לא יכולים להכניס הרבה מהטכנולוגיות Cutting-edge הללו, לפחות לא בקצב שהן יוצאות. מועמדים כאלה אולי פתאום לא מתאימים בדיוק לעולם שרץ "בחוץ". נתי משתף סיפור אישי/מקצועי על שיר אלגום, שנדחתה ממשרה ב-HR כי לא הכירה מספיק AI, ובתגובה הפכה למומחית שמרצה ב-Amazon. שינוי גישה**:** "העולם השתנה, הבנתי, אני עכשיו באירוע". אורי ונתי מחפשים השוואות למהפכות קודמות, ולא בטוחים אם יש כאלו בדיוק - מעבר משימוש ב-Intellect האנושי כדי לייצר יתרון - למצב בו "ה-Intellect עובר קומודיטיזציה". אין יותר Job security בהייטק המסורתי, וחזרה לכיוון של מקצועות יותר "מסורתיים", פיזיים. [10:17] עידן ה-Agents וה-+Resume נתי - קונספט של "Professional Agents": מומחים כבר לא מוכרים את עצמם כעובדים, אלא כסוכנים, או ככאלה שמתמחים ביצירת סוכנים. סוכן הוא כמו ילד – צריך לגדל אותו ולשכלל אותו, דורש הרבה Nurturing. רן - ספציפית: מדברים על מעצבים, רואי-חשבון - מקצועות ספציפיים, שהם אולי לא חלק מהליבה של החברה, אבל נמצאים בכל חברה. נתי - דוגמא של Marketing: אם מישהו כבר הכין את רוב ה-Workflows מראש, זה משהו שאני מוכר לשלם עליו. אורי מציין שגם בגידול של ילד באיזשהו שלב עוברים ל-Outsourcing יותר ויותר . . . חברות עוברות לתת שירות של סוכן יחד עם "גידול סוכנים" ושכלול שלהם: סוכן + משהו שמתחזק אותו ומתאים אותו לצרכים שלך. הבשורה טובה: יש לאן להתפתח - בכל פעם שחסמי-כניסה יורדים, נפתחים תחומים חדשים אורי ונתי קצת חלוקים על הנקודה, אבל זה דומה למה שהיה בתחילת ימי ה-SaaS, שאולי לא היה קיים אם לא היה Cloud, לפחות לא בקצב וב-Scale, שקודם לכן היה שמור לארגונים מאוד גדולים ולא לסטארטאפים. דוגמא דומה היא Big-Data. נתי אומר שהורדת חסמי-הכניסה תכניס הרבה גורמים חדשים לתחום, לאו דווקא רק מכיוון של מדעי-המחשב. אורי - השוני במהפכה הזו הוא שיש מצב שבו סוכן יכול לייצר סוכן יותר טוב . . . נתי מפריד בין מוצרים "גנריים" - יש את המודלים של Anthropic ו-OpenAI ומשפחות המוצרים הנגזרות וכו' - ובין ה"OpenClaw למיניהם", שהם גרסא פשוטה יותר וזולה יותר, יחד עם קוד-פתוח ומוצרים בסגנון הזה. רן משווה את המאבק בין מודלים גנריים (כמו Anthropic) למודלים פתוחים (כמו OpenClaw) ל-"האנדרואיד לעומת האייפון". נתי מדבר על ראיון העבודה העתידי: "עובדים יבואו עם ה-10X של עצמם": מועמדים לא יבואו עם קורות חיים, אלא עם רזומה פלוס – צוות סוכנים שבנו ושיודעים לשכלל להם את העבודה. בשנה-שנתיים-שלוש הקרובות, אלו שיעשו את הקפיצה ויבנו את הסוכנים וידעו להגיע עם זה לראיון עבודה - זו יכולה להיות הזדמנות לגדול ולהתבסס. אבל - אנחנו לא יודעים כמה ומי הולך להיפגע: "יהיה פה מצב של ירידה לטובת עלייה". [17:03] "אז מה יכול לקרות?": הסינגולריות והמתכנת האחרון רן מעלה את השאלה המפחידה: האם כל הניסיון שצברנו כמפתחים הלך לפח? השנים הקרובות כנראה הולכות להיות מבלבלות, אבל ננסה להסתכל מעבר לזה. האם לא יהיו יותר מתכנתים, כי לא צריך - או שיהיו הרבה יותר מתכנתים והרבה יותר תוכנה, אבל מקצוע התכנות יראה אחרת? נתי חוזה ירידה למען עלייה - אבל בשונה מהמעבר ל-Cloud-Native למשל, שלקח בערך 10 שנים (ולא נגמר…), כאן הקצב הרבה יותר מהיר (התעשייה השתנתה בתוך שנה). זוכרים את "כולם משתמשים ב-AI, אבל לא רואים את ה-ROI"? זה היה בתחילת 2025 . . . מאז הסטטיסטיקות התחילו להשתנות. רן - "אם לפני שנה הייתי נותן ל-Agent משימות קידוד קטנות, ולפעמים זה מצליח ולפעעמים זה לא - היום זה עולם אחר לגמרי". אז יכנסו יותר מעגלי-אוכלוסיה לתחום - אבל הצד השלילי הוא הירידה שלפני: כמות האנשים שדרושים למשימות שיש היום, עד שיווצר ה-Demand החדש, תגרום להרבה אנשים למצוא את עצמם "מחוץ למעגל". מדינות תצטרכנה איכשהו לספוג את הירידה הזו - מימון הכשרות, תקופות הסתגלות וכו' - אחרת זו בדיוק הסביבה למהפכות והתדרדרות למקומות יותר בעייתיים. ולא שהסדר העולמי מסביב שליו ורגוע גם ככה [נתכתב מהממ"ד במהלך מלחמה באירן…]. אורי - כבר רואים התחלה של "כלכלת סיליקון", ומדינות תחילות לחשוב על מאגרי הChip-ים שלהן . . . נתי מזכיר פרק של All-In, שמדבר על תחזיות מאוד אופטימיות, ועל פניו קצת מנותקות - "המון הזדמנויות והכל יהיה בסדר", בזמן שמי שבתחום יודע שזה לא ממש ככה. נראה שב-Silicon Valley יש בעיקר התעלמות - חוגגים בתוך מעגל מאוד מצומצם. נתי מציע לחשוב על זה כמו על קורונה [במובן החיובי…] - נצטרך התערבות חיצונית כדי לעבור את הגל הזה. רן תוהה האם - בדומה לקורונה - גם התקופה הזו גם תיהיה קטליזטור לתאוריות קונספירציה שעוד תבואנה . . . אורי - מצד שני, גם תרבות הפנאי התפתחה מאוד בתקופת הקורונה, אולי שוב מישהו אחר עושה את העבודה ואז יש יותר פנאי? רן - כבר היום, כשאני מפתח, אני מספיק הרבה יותר, בהרבה פחות זמן. אז אנחנו מייצרים הרבה יותר תוכנה . . . אורי - אבל אז ה-bottlenecks עוברים למקומות אחרים. רן - OpenAI הזכירו, לגבי הפיתוח של Codex 5.3 – שהמודל פותח בעזרת גרסאות קודמות של עצמו. "זה בערך By definition הסינגולריות" . . . "אל תצפו שהסינגולריות תקרה ביום אחד בודד" . . . "מי שהיה במהפכה התעשייתית לא יודע שהוא במהפכה התעשייתית". [27:57] חמשת ה-Moats של 2026 נתי - האם נכון לבנות סטארטאפ באי ודאות כזו? מה הסיכוי של סטארטאפ כזה לשרוד? נאמר על רקע שבוע מאוד לא מוצלח

  7. Jan 25

    511 AI Protection and Governance with Nimrod from BigID

    פרק מספר 511 של רברס עם פלטפורמה, שהוקלט ב-18 בינואר 2026. אורי ורן מקליטים בכרכור (הגשומה והקרה) ומארחים את נמרוד וקס - CPO ו-Co-Founder של BigID - שחצה את כביש 6 בגשם זלעפות כדי לדבר על אתגרים טכנולוגיים בעולם המופלא של Data Production ו-Security. 🎗️ [00:38] נמרוד, BigID ולמה אנחנו צריכים קטלוג ל-Data? נמרוד - אחד מה-Co-Founders של BigID, ש”עוזרת לארגונים להבין את ה-Data שלהם”.האתגר המרכזי של ארגונים היום הוא שהם אוספים אינסוף מידע (על לקוחות, עובדים, שוק), אבל מתקשים בשלושה דברים עיקריים: להגן עליו, לעמוד ברגולציות (פרטיות), ולהפיק ממנו ערך (למשל לטובת AI).הפתרון של BigID: בניית קטלוג של כל המידע בארגון.סריקת כל המערכות: Unstructured, Structured, Big Data, Cloud Storage, Business Applications . . . וגם אספקטים של Data at Rest & In Motion: מציאת המידע “איפה שהוא לא נמצא”.החברה עושה קלסיפיקציה (Classification) של המידע - שכבה סמנטית של ה-Metadata, ולא רק סמנטיקה: המערכת ממפה את ה-Metadata העסקי (“למה המידע משמש?”), האופרטיבי (“מי ה-Owner? למי יש גישה?”) והטכני.כולל Contextual Metadata - עמודות, שורות, Foreign Keys . . . לחברה יש גם את היכולת לייצר קורלציה ל-Data Subject – כלומר, להבין למי המידע שייך (לאיזה אדם ספציפי הוא מתייחס), שזה הבסיס לעולמות הפרטיות (כמו "הזכות להישכח").מעל הקטלוג הזה, BigID מנגישה אפליקציות - להגן על המידע - Data Access, Governance, Monitoring, Control.כולל היבטים של רגולציה בהגנה על המידע, בעיקר סביב Privacy Management.היום יש גם הרבה אספקטים של רגולציה סביב AI - ואיך להפיק ערך מהמידע הזה.הייחוד של החברה בעולמות ה-AI הוא היכולת לייצר קטלוג של Unstructured Data - שזה היום המקור המרכזי של AI.אם פעם אנשים היו מסתכלים על ה-Snowflake או על ה-Databricks שלהם כדי לעשות אנליזה למידע - היום הם מסתכלים על ה-OneDriveגם כדי למצוא את המידע שהם רוצים - וגם כדי למחוק את המידע שהם לא רוצים.רן - “אם פעם פיצ’רים היו בתוך עמודות ב-Database, היום אני מסתכל פשוט על Unstructured Text” . . . .החברה מאפשרת Secure pipelines ל-AI, ופיצ’רים של Security - גם ב-Design time וגם ב-Runtime - לאפליקציות AI.וגם אפשרות להפיק את המידע הזה החוצה - לספק את ה-Metadata הזה לכל אפליקציה אחרת בארגוןכלי Cataloging לשימושי AI או למטרות Security - העשרה של המידע עם מידע (Metadata . . . ).נמרוד מגיע מרקע של Product Management - ניהל את ה-Identity Management Product Line של CA (היום בתוך Broadcom).ולפני כן רקע טכני - מפתח בתחומים של Security. [05:18] האתגר הטכנולוגי: "אתה לא יכול להגן על מה שאתה לא רואה" רן מעלה את המשפט הידוע: "You can't protect what you can't see" - מה המשמעות מבחינת הלקוחות של BigID? מהם האתגרים הטכניים בייצור של פתרונות עבורם?נמרוד מסביר ש-BigID קמה על מנת לתת לארגונים את ה-Visibility הזה.ארגונים לא יודעים מה יש להם - וגם כשארגונים חושבים שהם יודעים איפה המידע הרגיש שלהם נמצא, בפועל הם טועים.ועל מנת להגן על מידע רגיש, בתור התחלה צריך לדעת איפה הוא - וזה האתגר מספר 1.דוגמא ל-Use Case נפוץ: איזשהו Stream של מידע, לפעמים Structured ולפעמים לא . . . עושים לו Structuring, מביאים אותו ל-Databases של האפליקציות - וחושבים שהוא רק שם.אחד ה-Use Cases הנפוצים זה עולם הבנקאות ו-Wealth Management - המון רגישות לפרטיות של הלקוחות.ארגונים כאלו מנהלים כמויות עצומות של מידע - ואסור שמספרי חשבון ופרטים מזהים יצאו מגבולות ה-Data Lake או ה-"Green Zones" לאיזורים אחרים.גם הדיוק מאוד חשוב - וגם ה-Scale מאוד גבוה.ואלו “עבירות של כלא” . . . .אם המידע דולף, המנכ"ל עלול ללכת לכלא.(רן) מהזוית של המהנדס - איך עושים דבר כזה? זה נשמע כמו RegEx . . . יש מספרי חשבונות בנק וכו’, אז הפתרון הטריויאלי הוא להפעיל איזשהו Regular Expression. אבל המציאות קצת יותר מורכבת . . . . אילו טכנולוגיות אחרות יש?נמרוד מסביר ש-”Regular Expression טוב בערך ל-Email . . . . לכל מה שהוא מעבר ל-Email, זה כבר לא עוזר לך”.הסיבה לכישלון של מערכות DLP (Data Loss Prevention) ישנות היא ההסתמכות על RegEx, שיצרו המון רעש.“זו פשוט לא טכנולוגיה מספיק טובה”.אחת הטכנולוגיות הראשונות ש-BigID יצאה איתה הייתה Correlation, מה שהחברה מכנה Identity Graph.היכולת לעשות Exact Value Matching על מידע שהוא Correlated.איך זה עובד? לוקחים Data ממערכת ה-CRM או ה-HR, ממפים פרופילים של משתמשים, ואז מוצאים את המידע הזה.זה נותן דיוק מאוד גבוה - וגם יכולת לדעת למי המידע שייך.לדוגמא - “מספרי חשבון זה רק רצף של מספרים - RegEx לא יעזור לך”.אם מוצאים רצף מספרים, קשה לדעת אם זה מספר חשבון או סתם מספר - אבל אם הרצף הזה תואם לרשימת הלקוחות מה-CRM – הוודאות גבוהה מאוד.מסתכלים על המסמך כולו, או על Entities בתוכו? גם וגם . . . יש Machine Learning & Deep Learning - שימוש ב-NER (Named Entity Recognition) לחילוץ ישויות.שימוש ב-Document Classifiers כדי לזהות את סוג המסמך (האם זה חוזה העסקה? האם זה NDA? - עושים Deep Learning על כל המסמך), ומזהים על סמך Training קודם.את אותו הדבר עושים גם עם LLM-Based Classification.מאפשר גמישות (גם וגם - או זה או זה, או שניהם)אבל מציב אתגרים חדשים של עלות ומהירות - זה יקר מאוד ואיטי מאוד לסרוק TBs של Data . . . . צריך להתחיל עם כל מיני סוגים של אופטימיזציות. [11:01] סוגיית ה-Scale וה-Cost בעולם ה-LLM רן מציין שגם מודלים "צנועים" זה עדיין “מליארדים של פרמטרים”, וגם הם דורשים GPU ועולים לא מעט כסף. נמרוד מפרט על האסטרטגיה להתמודדות - אחת הטכניקות הראשונות הייתה ב-Small Language Models (SLM): התחילו עם BERT או RoBERTa. זה עבד (ביצועים טובים, עדיין צריך GPU), אבל חייב אימון (Training) על ה-Data של הלקוח – וזה "Big No No" מבחינת אבטחה (ענייני Security ורגולציה) ואופרציה (זמן…).“סיוט אופרטיבי” . . . .השלב הבא הוא LLMs (“מודרניים”): גם מודלים של 50 מיליארד פרמטרים כבר לא דורשים אימון (Pre-trained) ונותנים תוצאות מעולות.“ה-LLM של לפני חודש זה כבר ה-SLM של היום” . . . .והם כבר באים מאומנים.מה לגבי המחיר? פה נכנסת האופציה לעשות אופטימיזציה לסריקה (Full Scan vs. Sampling): רוב פתרונות ה-DSPM (Data Security Posture Management) לא מסוגלים לעשות Full Scan, הם עושים רק דגימה (Sampling מהיר מעל ה-Data).זו הדרך היחידה ל-Cost Effective Brute-force עם LLM . . . .זו אופציה טובה למטרות Security (ו-BigID מאפשרת אותה), אבל נמרוד טוען שזה לא מספיק ל-CISO, שצריך Full Scan.זה טוב בשביל Risk Assessment, אבל לא “פתרון סופי” [הגענו גם לזה…].פה מגיע הפתרון ההיברידי (LLM Augmented):משתמשים בכלים דטרמיניסטיים וזולים (כמו RegExאו NER) כדי לסרוק את הרוב.משתמשים ב-LLM כדי לנקות את ה-False Positives."אתה מקטין בסדר גודל את כמות ה-Findings שאתה צריך לעבור עליהם וצריך לעשות עליהם LLM Classification”.מכוונים את ה-RegEx להיות "רחב" (לתפוס הרבה False Positive), ואז ה-LLM מנקה את השגיאות (גם אם עדיין משאיר קצת FP).אלו ענייני Cost-Effectiveness שצריך לקחת בחשבון.אורי מזכיר שנהוג לחשוב על LLM-ים כ”לא דטרמניסטיים” . . . . איך משתמשים בהם על מנת לקבל משהו דטרמניסטי?נמרוד משתמש במונח “כמה שיותר לא דטרמניסטי” - שהוא עצמו לא דטרמני

  8. Jan 15

    510 Federated Learning with Tal from Rhino

    פרק מספר 510 של רברס עם פלטפורמה, שהוקלט ב-6 בינואר 2026. אורי ורן מקליטים בכרכור ומארחים את טל (מאזין ותיק!) מחברת Rhino Federated Computing לשיחה על עולם של חישוב מבוזר, פרטיות רפואית, הצפנות הומומורפיות ונוסטלגיה ל-SETI@home (ולא AI! טוב, גם…). 🎗️ לפני הכל - טל הוא מאזין ותיק, אי שם מאזור פרק 300 [מה קורה באמת עם התחזית של נתי על המוצר הצעיר והחדשני Apache Spark?] שהחליט להרים את הכפפה בעקבות הקריאה בכנס האחרון לרעיונות לראיונות. תהיו טל! [01:28] טל, Rhino, ומה זה Federated Computing / Learning טל טיאנו-עינת - מתכנת, בוגר 8200, 20 שנה בתעשייה.בעבר CTO ו-Co-Founder, פעמיים עובד מוקדם או בין הראשונים בסטארטאפים, 8 שנים בטכנולוגיה חינוכית.ו-Python Core Developer, ספציפית של CPython [כבוד!]היום מוביל את תחום ה-Backend ב-Rhino Federated Computing.ו-Rhino Federated Computing עוסקת בגדול ב“חישוב מבוזר ומשמר פרטיות”.תכל’ס - מאפשר לעבוד עם כל המידע וכל ה-Data הרב מאוד שקיים היום בעולם.יש המון Data - אבל זה מידע רגיש (רפואי, פיננסי) שצריך להישאר “נעול בכספות”.ועדיין - רוצים להפיק ממנו תובנות.הפוטנציאל משיתוף מידע כזה הוא עצום, וצריך לדעת לעשות את זה בזהירות.בגדול, העולם מלא ב-Data (שליש מהמידע הדיגיטלי הוא רפואי), אבל הוא יושב ב-Silos: אי אפשר להוציא אותו בגלל רגולציה ופרטיות, ולא עושים איתו כמעט שום דבר."אם תשאל חוקרים, כמעט כולם יגידו: 'האתגר הכי גדול שלי זה להגיע ל-Data. הוא יושב שם, אבל לא עושים איתו כלום." הפתרון של Rhino Federated Computing זו פלטפורמה, שמאפשרת להשאיר את ה-Data “במקום הטבעי שלו” (ב-Edge), ולשלוח את הקוד/המודל למחשב מקומי שירוץ עליו ויחזיר רק תוצאות נגזרות - אגרגטיביות (Aggregated) או משקולות (Weights) - שלא חושפות יותר מדי.באופן כללי, Federated Learning (או Federated Computing) מדבר על אוסף של שיטות, טכניקות ואלגוריתמים, שעוזרים להשתמש במידע הזה - אבל לעשות את זה באופן שמשמר פרטיות. [04:32] אז איך עובד הקסם הזה, מהם ה-Use Cases ומי מנהל את גן החיות? זה בדרך כלל תהליך איטרטיבי (Iterative) - מתחילים מנקודת התחלה משותפת של המשקולות ושולחים לכל מיני אתרים שיש בהם את ה-Data.בכל אתר עושים אימון מקומי נפרד - ואז שולחים עדכונים למשקולות (מכל אתר).עושים אגרגציה (Aggregation) של הנתונים המעודכנים - ושוב.רן (בתפקיד הפרקליט השטן): למה לסבך? למה לא לעשות אנונימיזציה (למחוק ת.ז ושם), לשלוח הכל לשרת מרכזי אחד ולאמן שם? נשמע הרבה יותר פשוט . . .טל ציין כמה סיבות - רגולציה: מקשה מאוד . . . . לפעמים החוק פשוט אוסר את זה.בירוקרטיה: צריך לחתום על חוזים להוצאת Data מבית החולים, וזה יכול לקחת חודשים ואפילו שנים (להגדיר למי ספציפית מותר לגעת במה וכו’).וגם אז - זה יהיה עבור פרויקט אחד ספציפי . . . פרטיות: אנונימיזציה זה לא מספיק - הצלבת מידע (Re-identification) היא קלה מדי היום.מקרה לדוגמא - נניח למשל חוקר באיזשהו מוסד רפואי, שלא מעוניין להקים לבד את כל התשתיות האלה (בשום מקרה, וגם לא במקרה הזה…) - וצריך איזשהו Orchestrator שיעבוד עם 5 (או 500) בתי חולים אחרים. מה נוסע לאן? אילו אבטחות (והבטחות) פרטיות יכול אותו חוקר לקבל? “מי מנהל את כל גן החיות הזה?”השאלה היא האם אתה עובד עם Rhino או לא . . . בדרך כלל מתחילים עם כל מיני כלי Open Source ועושים כל מיני חישוביםמגלים כמה זה קשה - ואז מגיעים ל-Rhino . . . ואז נשאלת השאלה - מי מחבר את כל האחרים? איך כל הקהילה נוצרת?לאורי כל זה נשמע כמו “מסיבת מנמ”רים” . . . . צריך להגיע לכל CISO ולכל מנהל מערכות מידע של כל מוסד ולשכנע אותו (ואז לעבור את כל הבדיקות…).טל אמר שההתקנה של ה-Client היא מאוד קלה (“תוך שעה” במקרה מסוים, לעומת “כמה שבועות” אצל מתחרים אחרים). [10:28] אילו חישובים ניתן לעשות? אילו מודלים? מה האלגורתמיקה שרצה? אילו סוגי מודלים הלקוחות בדר”כ רוצים לחשב?כמעט כולם עושים Deep Learning ו-LLM-ים, מכל מיני סוגים וגדלים.עושים Fine Tuning מכל מיני סוגים.רואים גם כאלה שרוצים מודלים “קלאסים” - רגרסיות מסוגים שונים, מודלי-הישרדות למיניהם (בהקשרים רפואיים).מה שיפה זה שבמסגרת של Federated Learning אפשר לאמן את כל הסוגים הללו של המודלים.למשל גם Boosted Trees מסוגים שונים, יש תמיכה מאוד רחבה.וגם אלגוריתמים שהם בכלל לא אימון של מודל - כל מיני אלגוריתמים סטטיסטיים (חלק קיימים וחלק כאלו שהחברה בונה עבור הלקוח).אפילו חישוב של חציון בצורה שהיא מבוזרת ומשמרת-פרטיות זה גם אתגר מורכב.מדובר ב”אולר שוויצרי”, שמחשב גם חציון וגם Deep Learning, למשל - או שיש כאן כלים שונים?יש פה בעצם שני Framework-ים עיקריים שנתמכים עבור Federated Learning - הראשון הוא NVFlare של NVIDIA ו-Flower של Flower Labs [יש שת”פ…].אפשר גם לממש בהם אלגוריתמים סטטיסטיים - אבל זה פחות נפוץ, יותר מורכב.הטכנולוגיה: הכל רץ על Containers. המשתמש שולח Image, הוא רץ מבודד (בלי גישה לרשת או ל-FS, רק ל-Data הספציפי), והתוצאה נשמרת מקומית או נשלחת חזרה (תלוי בפרוטוקול).(אורי) - כל קוד יכול לעבוד “פדרציה” על ידיכם (Rhino) - או שמי שכותב את הקוד צריך לחשוב מראש שהוא הולך “לרוץ Federated” ואז צריך לכתוב את הקוד בצורה אחרת? (רן) אפשר להריץ PyTorch as is, או שצריך התאמות כדי שירוצו “Federated”?במרבית המקרים זה משהו שבין Out-of-the-Box לבין “פשוט מאוד” - המפתחים של ה-Framework-ים “כבר סללו את הדרכים” עבור המודלים הנפוצים (כמו PyTorch או TensorFlow), ואז זה רק “להוסיף כמה שורות”.איך למצוא את ה-Data ולכתוב את המידע שיוצא (למשל משקולות) למקומות הנכונים.רגע, יש פה Double-Latency? אתרים נפרדים, מרחק פיזי, ענייני Orchestration מיבשת אחרת . . . בד”כ, לאמן מודלי Deep Learning זה משהו שדורש הרבה Data והרבה Iterations - אין פה צוואר-בקבוק (לפחות אחד או יותר)?בהחלט יכול להיות - ומעניין לראות אילו Trade-offs אפשר לעשות.יש הרבה פרמטרים שאפשר לשלוט בהם - כמה מידע משתפים? מה אורך האיטרציות? כל כמה זמן עושים עדכון מחדש ו”יישור קו” בין האתרים השונים (לכל פעם יש מחיר).ועדיין - טל אומר ש”לא מצאנו מקרה שזה היה כל כך איטי כך שאי אפשר היה להשיג את מה שרצו”.האם יש איזשהו Sandbox, שעליו אפשר להריץ את האיטרציות המהירות (יחסית) על “משהו לוקאלי” - ואחרי שבטוחים (נגיד ב-80%) שזה מה שאנחנו רוצים, רק אז לקחת את הכל ל-Federated, כדי לחסוך (זמן וכו’)?כן. ב-Rhino בנו כלי  למפתחים, כך שיוכלו לעבוד ממש מקומית (Containerization) ולוודא שכל ההתאמות אכן עובדות.גם בשלב הבא, כשכבר מעלים ומריצים על גבי הפלטפורמה - יש פיצ’ר שמאפשר להריץ את זה ממש Federated, אבל שכל ה-Clients רצים באתר אחד.אפשר להרים מכונה חזקה עם כמה GPUs ולהריץ, כשכל ה-Flow וכל התקשורת מדמים מצב אמיתי - אבל בפועל זה רק באתר אחד או שניים.עם איזה מידע שהמשתמש רוצה - דמה או אמיתי. [18:30] המקרה המוזר של החולה האנונימי בקיבוץ (רן) נניח לדוגמא בית לחולים אחד עם 500 פציינטים, בית חולים שני עם 1000 - ושלישי עם 10 בלבד. כו

See All (819)

Ratings & Reviews

4.4
out of 5
5 Ratings

About

פודקאסט על תוכנה, מוצר, ותשתיות — בעברית.

Information

You Might Also Like