Machine Learning Podcast

#055 ML Илья Гусев. Как запускать большие языковые модели локально


Listen Later

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!


Ссылки выпуска:


Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)

Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)

Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)

Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)

Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)

Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)


Буду благодарен за обратную связь!


Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)


Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: [email protected]


Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)


Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

...more
View all episodesView all episodes
Download on the App Store

Machine Learning PodcastBy Mikhail

  • 5
  • 5
  • 5
  • 5
  • 5

5

2 ratings


More shows like Machine Learning Podcast

View all
ШоПоКо by Anton Pozdnyakov

ШоПоКо

149 Listeners

Что случилось by Медуза / Meduza

Что случилось

355 Listeners

Бауновкаст by CarnegiePolitika.org

Бауновкаст

12 Listeners

Два по цене одного by libo/libo

Два по цене одного

90 Listeners

kuji podcast by kuji podcast

kuji podcast

130 Listeners

Запуск завтра by libo/libo

Запуск завтра

88 Listeners

Потом доделаю by WEEEK (@potomdodelau)

Потом доделаю

0 Listeners

Подкаст Глеба Соломина by Глеб Соломин

Подкаст Глеба Соломина

2 Listeners

Экономика на слух by РЭШ

Экономика на слух

10 Listeners

План Б by Т—Ж

План Б

17 Listeners

Прием by Т—Ж

Прием

6 Listeners

Хакни мозг by Ольга Килина х Богема

Хакни мозг

28 Listeners

Любить нельзя воспитывать by libo/libo

Любить нельзя воспитывать

62 Listeners

На каком основании by libo/libo

На каком основании

21 Listeners

Закладка | Эхо by Эхо Подкасты

Закладка | Эхо

28 Listeners