1 hr 17 min

פרק 5 - מייק ארליכסון: ארכיטקטורת הטרנספורמרים, מודלי שפה, והאתגרים של עולם ללא מידע טהו‪ר‬ אדם וים - הצעד הבא של האנושות

    • Technology

בפרק אירחנו את מייק ארליכסון, דוקטור למתמטיקה מהטכניון, מומחה בינה מלאכותית ו-Machine Learning, וכיום עובד כ AI Tech Lead בחברת Salt Security.

מייק הוא אחד האנשים היותר פעילים בקהילת הבינה מלאכותית בארץ, Machine Learning Israel, שם, בפייסבוק ובטוויטר - הוא עובד על הנגשת התכנים האקדמיים לקהל רחב יותר על ידי סיכום מאמרים בקצרה ובעברית (הפינה נקראת #shorthebrewpapereviews). בנוסף, מייק גם כתב ספר deep learning בעברית, שזמין בחינם לכולם באינטרנט.



בפרק צללנו ישר אל מה היא ארכיטקטורת הטרנספורמים (Transformers), הארכיטקטורה שהיוותה את השינויי המשמעותי ביותר בעולם הAI בשנים האחרונות. דיברנו על מה עשה את הארכיטקטורה כל כך מיוחדת ושונה מהארכטיקטורות שקדמו לה, תהליך האימון שOpenAI עשו עם RLHF  - שהתוצר הסופי הוא לא פחות מ-ChatGPT שכולנו מכירים.



משם לקחנו את השיחה למקום קצת אחר, ופחות טכנולוגי: האתגרים בעולם בו אין יותר מידע "טהור," כלומר מידע שלא מותנה באידיאולוגיה או מניעים ספציפיים, אלא עובדות כעובודות. דיברנו על איך עולם הבינה מלאכותית מעצים את אותם אתגרים, והאם יש איך להילחם בזה - מהצד הטגנולוגי, וכן מהצד התרבותי. הדרך בה אנחנו צורכים תוכן תיהיה חייבת להשתנות כדי להתאים את עצמנו יותר לאתגרים העכשוויים.

נענו בין אופטימיות לגבי העתיד ופסימיות מכורח המציאות הנוכחית והמסלול עליו נראה שאנחנו נמצאים עם  הבעיותות של טיקטוק ועוד.

קישורים מהפרק:


מייק בטוויטר: https://twitter.com/MikeE_3_14


הספר Deep Learning בעברית: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew


קהילת AI ישראל: https://machinelearning.co.il/


מאמר בעברית על הארכיטקטוריות שהיו לפני הטרנספורמים, ודיברנו עליהם בפרק: https://machinelearning.co.il/14698/transformers-section-1/


ערך ויקיפדיה על ארכיטקטורת הטרנספורמרים:https://he.wikipedia.org/wiki/%D7%98%D7%A8%D7%A0%D7%A1%D7%A4%D7%95%D7%A8%D7%9E%D7%A8_(%D7%9C%D7%9E%D7%99%D7%93%D7%AA_%D7%9E%D7%9B%D7%95%D7%A0%D7%94)


טרנסםורמרים ומגנון הקשה העצמי ("self-attention") על פי הספר למידה של מייק: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/08%20-%20Attention.pdf

בפרק אירחנו את מייק ארליכסון, דוקטור למתמטיקה מהטכניון, מומחה בינה מלאכותית ו-Machine Learning, וכיום עובד כ AI Tech Lead בחברת Salt Security.

מייק הוא אחד האנשים היותר פעילים בקהילת הבינה מלאכותית בארץ, Machine Learning Israel, שם, בפייסבוק ובטוויטר - הוא עובד על הנגשת התכנים האקדמיים לקהל רחב יותר על ידי סיכום מאמרים בקצרה ובעברית (הפינה נקראת #shorthebrewpapereviews). בנוסף, מייק גם כתב ספר deep learning בעברית, שזמין בחינם לכולם באינטרנט.



בפרק צללנו ישר אל מה היא ארכיטקטורת הטרנספורמים (Transformers), הארכיטקטורה שהיוותה את השינויי המשמעותי ביותר בעולם הAI בשנים האחרונות. דיברנו על מה עשה את הארכיטקטורה כל כך מיוחדת ושונה מהארכטיקטורות שקדמו לה, תהליך האימון שOpenAI עשו עם RLHF  - שהתוצר הסופי הוא לא פחות מ-ChatGPT שכולנו מכירים.



משם לקחנו את השיחה למקום קצת אחר, ופחות טכנולוגי: האתגרים בעולם בו אין יותר מידע "טהור," כלומר מידע שלא מותנה באידיאולוגיה או מניעים ספציפיים, אלא עובדות כעובודות. דיברנו על איך עולם הבינה מלאכותית מעצים את אותם אתגרים, והאם יש איך להילחם בזה - מהצד הטגנולוגי, וכן מהצד התרבותי. הדרך בה אנחנו צורכים תוכן תיהיה חייבת להשתנות כדי להתאים את עצמנו יותר לאתגרים העכשוויים.

נענו בין אופטימיות לגבי העתיד ופסימיות מכורח המציאות הנוכחית והמסלול עליו נראה שאנחנו נמצאים עם  הבעיותות של טיקטוק ועוד.

קישורים מהפרק:


מייק בטוויטר: https://twitter.com/MikeE_3_14


הספר Deep Learning בעברית: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew


קהילת AI ישראל: https://machinelearning.co.il/


מאמר בעברית על הארכיטקטוריות שהיו לפני הטרנספורמים, ודיברנו עליהם בפרק: https://machinelearning.co.il/14698/transformers-section-1/


ערך ויקיפדיה על ארכיטקטורת הטרנספורמרים:https://he.wikipedia.org/wiki/%D7%98%D7%A8%D7%A0%D7%A1%D7%A4%D7%95%D7%A8%D7%9E%D7%A8_(%D7%9C%D7%9E%D7%99%D7%93%D7%AA_%D7%9E%D7%9B%D7%95%D7%A0%D7%94)


טרנסםורמרים ומגנון הקשה העצמי ("self-attention") על פי הספר למידה של מייק: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/08%20-%20Attention.pdf

1 hr 17 min

Top Podcasts In Technology

Lex Fridman Podcast
Lex Fridman
Acquired
Ben Gilbert and David Rosenthal
All-In with Chamath, Jason, Sacks & Friedberg
All-In Podcast, LLC
Deep Questions with Cal Newport
Cal Newport
Dwarkesh Podcast
Dwarkesh Patel
Darknet Diaries
Jack Rhysider