41 min
#055 ML Илья Гусев. Как запускать большие языковые модели локально Machine Learning Podcast
-
- Tecnologia
Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!
Ссылки выпуска:
Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" ( https://habr.com/ru/articles/759386/)
Сервис для запуска больших языковых моделей локально - lmstudio ( https://lmstudio.ai/)
Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально ( https://github.com/oobabooga/text-generation-webui)
Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM ( https://github.com/huggingface/text-generation-inference)
Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM ( https://arxiv.org/abs/2307.01850)
Пост Ильи со списком материалов для погружения в NLP ( https://t.me/natural_language_processing/81627)
Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!
MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)
Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)
Мой телеграм для связи (https://t.me/kmsint)
Также со мной можно связаться по электронной почте: kms101@yandex.ru
Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!
И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)
Выразить благодарность можн
Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!
Ссылки выпуска:
Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" ( https://habr.com/ru/articles/759386/)
Сервис для запуска больших языковых моделей локально - lmstudio ( https://lmstudio.ai/)
Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально ( https://github.com/oobabooga/text-generation-webui)
Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM ( https://github.com/huggingface/text-generation-inference)
Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM ( https://arxiv.org/abs/2307.01850)
Пост Ильи со списком материалов для погружения в NLP ( https://t.me/natural_language_processing/81627)
Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!
MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)
Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)
Мой телеграм для связи (https://t.me/kmsint)
Также со мной можно связаться по электронной почте: kms101@yandex.ru
Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!
И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)
Выразить благодарность можн
41 min