Сегодня в гостях Татьяна Шаврина - тимлид команды AGI NLP, главный эксперт по технологиям, SberDevices, аспирант НИУ ВШЭ и просто очень приятный и интересный собеседник. Обсудили то, как с течением времени менялись подходы к обработке естественного языка, какие оказались революционными для области, а какие были частью закономерного развития. Word2vec, Seq2seq, Transformer, GPT, BERT - если эти названия вам говорят мало, но вы хотите узнать больше - выпуск вам будет интересен. И даже если вы уже все это хорошо знаете, слушать Татьяну очень интересно!

Ссылки выпуска:

Методология тестирования моделей, основанная на тестах для сильного ИИ - https://russiansuperglue.com/

Книга "Введение в информационный поиск" Маннинг Кристофер д. - https://www.ozon.ru/product/vvedenie-v-informatsionnyy-poisk-168021950/?utm_source=google&utm_medium=cpc&utm_campaign=RF_Product_Shopping_Books_newclients_super&gclid=CjwKCAiA9vOABhBfEiwATCi7GOdEOcDm_r9sxEWggOaUhpGnDaflijxaYDEXAjIsGpCKD1pAubW2exoCrf8QAvD_BwE

MIT course "Advanced Natural Language Processing" https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-864-advanced-natural-language-processing-fall-2005/

Cambridge NLP course - https://www.cl.cam.ac.uk/teaching/1718/NLP/

Буду благодарен за обратную связь!

Оставляйте ваши комментарии там, где можно. Например, в Apple Podcasts. Они помогут сделать подкаст лучше! Напишите что вам было понятно, что не очень, какие темы раскрыть, каких гостей пригласить, ну, и вообще в какую сторону катить этот подкаст :)

Поддерживайте подкаст на Patreon ( https://www.patreon.com/machinelearningpodcast )

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" ( https://t.me/toBeAnMLspecialist)

Телеграм автора подкаста ( https://t.me/kmsint)

Со мной также можно связаться по электронной почте: kms101@yandex.ru

Также теперь подкаст можно найти на YouTube ( https://www.youtube.com/channel/UCzvfXLNpB2Bbf32dc7a8oDQ?) и Яндекс.Музыке https://music.yandex.ru/album/9781458

#022 ML Татьяна Шаврина. Эволюция подходов к обработке естественного языка (NLP)

Это подкаст о машинном обучении от неспециалиста для неспециалистов. Буду рассказывать о развитии индустрии, проводить ликбез, объяснять терминологию и профессиональные жаргонизмы, общаться с профессионалами из индустрии Искусственного Интеллекта. Я сам не так давно начал погружаться в эту тему и по мере своего развития буду делиться своим пониманием этой интересной и перспективной области знаний.

Почта для обратной связи: kms101@yandex.ru
Сообщество подкаста в ВК: https://vk.com/mlpodcast
Телеграм-канал: https://t.me/toBeAnMLspecialist
Я в телеграме: @kmsint

Technology

Tech News

Podcasting

Gadgets

Software How-To

В гостях Лаида Кушнарева - Старший Академический Консультант, Huawei, которую в мире Data Science больше знают как Техножрицу. Общаемся про то, как обстоят дела в мире исследований вокруг машинного обучения. Как поменять математику на программирование, но продолжить заниматься математикой. Почему вычисления квадратного корня на калькуляторе необратимы и причем здесь головастики. Плюсы и минусы в работе современного ученого. Как проходит день исследователя. Докатился ли кризис воспроизводимости научных исследований до DS. Почему культура проведения эксперимента не менее важна, чем математическая обоснованность его предпосылок. Обо всем этом и многом другом в эпизоде!

Ссылки выпуска:

Паблик Лаиды "Техножрица" ( https://t.me/tech_priestess)
Упомянутое в выпуске видео 3blue1brown про фрактальную размерность ( https://youtu.be/zUZw6l2IPRk)
Статья на NeurIPS, написанная Лаидой и её коллегами (см. список авторов), про применение фрактальной размерности для детекции текстов, сгенерированных chatGPT ( https://neurips.cc/virtual/2023/poster/72624)
Другие научные статьи гостьи выпуска ( https://scholar.google.com/citations?user=rsTb_hYAAAAJ&hl=en)
Одна из статей про обнаружение галлюцинаций модели LLAMA 2 ( https://arxiv.org/abs/2312.17249)
Книга "Математика в машинном обучении" ( https://mml-book.github.io/)
Пост с подборкой бесплатных учебных материалов по математике и machine learning, которыми можно пользоваться, чтобы вникать в эту область ( https://habr.com/ru/articles/774844/)
Обсуждение статьи gzip с некорректно поставленным экспериментом (пример того, как иногда бывает) ( https://t.me/tech_priestess/841)
Еще одно обсуждение статьи gzip с некоторым троллингом ( https://t.me/tech_priestess/847)

Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub ( https://t.me/+HIXnIwXIIFAyYzYy). Условия участия ( https://t.me/toBeAnMLspecialist/750)

Мой телеграм для связи ( https://t.me/kmsint)

Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике ( https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально пару месяцев назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_59), который пишу в соавторстве с крутыми разработчиками.

Выразить благодарность можно добрым словом и/или донатом ( https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

#059 ML Лаида Кушнарева. Алхимики, шаманы и жрецы современного DS

В гостях выпуска Дмитрий Матвейчев - Deep Learning Researcher, PhD кандидат, занимающийся разработкой нейронных сетей для решения задач компьютерного зрения с использованием mmwave FMCW радаров. Разговариваем о том, зачем компьютерное зрение нужно в радиосвязи на примере микроволновых радаров. Как совместить классическую цифровую обработку сигналов с современными подходами из области машинного обучения, что такое радары и какие у них есть применения в гражданской промышленности, заменят ли радары камеры и лидары в беспилотных автомобилях, сколько стоит вставить радар в ухо и зачем потом махать руками, почему большой брат теперь не только смотрит за тобой, но и чувствует чем ты занимаешься, а также многое другое в выпуске.

Ссылки выпуска:

google soli - проект распознавания жестов от гугл (использовался в google pixel) ( https://github.com/simonwsw/deep-soli)
Ramp-CNN - датасет + статья и код по обнаружению людей и машин ( https://github.com/Xiangyu-Gao/Radar-multiple-perspective-object-detection?utm_source=catalyzex.com)

Курируемый лист датасетов и проектов использующих FMCW радары ( https://github.com/ZHOUYI1023/awesome-radar-perception/blob/main/README.md)

SincNet - параметризация свертки как частотного фильтра ( https://github.com/mravanelli/SincNet)

Еще больше ссылок по теме в телеграм-канале Стать специалистом по машинному обучению ( https://t.me/toBeAnMLspecialist)

Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub ( https://t.me/+HIXnIwXIIFAyYzYy). Условия участия ( https://t.me/toBeAnMLspecialist/750)

Мой телеграм для связи (https://t.me/kmsint)
Также со мной можно связаться по электронной почте: kms101@yandex.ru

Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике ( https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально пару месяцев назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_58), который пишу в соавторстве с крутыми разработчиками.

Выразить благодарность можно добрым словом и/или донатом ( https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

#058 ML Дмитрий Матвейчев. Компьютерное зрение в радиосвязи

В гостях Антонина Горячева - Head of ML в СберМаркете. Разговариваем о том, как устроен ML в онлайн-сервисе доставки продуктов и товаров с полок магазинов, начиная от того, зачем вообще машинное обучение в таких компаниях и заканчивая рассмотрением некоторых конкретных инструментов для решения ML-задач. Бывает ли такое, что заказов настолько много, что от них приходится отказываться. Как понять какую скидку нужно сделать, чтобы заработать больше, чем потерять. Как облегчить работу ретушерам фото для карточек товаров. Часто ли приходится пилить фичи, которые никому не нужны. Кого сейчас нанимают в ML-команды и как повысить свои шансы на трудоустройство. Чему можно научиться в процессе работы в такой команде. Какие качества нужно развивать, чтобы ИИ заменил тебя не сразу. Обо всем этом в выпуске.

Ссылки выпуска:

Канал в Телеграм про AI "Сиолошная" ( https://t.me/seeallochnaya)

Телеграм-канал Оли Соколовой (СЕО Скандинавии). Тоня пишет, что Оля ее очень вдохновляет как женщина лидер и у нее можно многому научиться в смысле менеджмента) ( https://t.me/naiznankuo)
Телеграм-канал SberMarket Tech, где Тоня и ее команда периодически делятся историями про то, как они развивают ML в СберМаркете ( https://t.me/sbermarket_tech)
Выступление Тони на DS Meetup в СберМаркете ( https://www.youtube.com/watch?v=WQ34cu51VTs)

Подкаст Для tech и этих: выпуск, в котором Тоня принимала участие ( https://podcast.ru/e/5RmwiScWNDS)

Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub ( https://t.me/+HIXnIwXIIFAyYzYy). Условия участия ( https://t.me/toBeAnMLspecialist/750)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" ( https://t.me/toBeAnMLspecialist)

Мой телеграм для связи ( https://t.me/kmsint)

Также со мной можно связаться по электронной почте: kms101@yandex.ru

Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике ( https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально месяц назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_57), который пишу в соавторстве с крутыми разработчиками.

#057 ML Антонина Горячева. Как отвечать за весь ML в компании, чтобы все работало

Гостем сегодняшнего выпуска стал Юрий Окуловский - Senior Data Scientist, кандидат физико-математических наук, ранее руководитель лаборатории искусственного интеллекта и робототехники УрФУ, также вы, возможно, его знаете как автора нескольких видеокурсов по программированию и рациональному мышлению. Юрий уже был гостем подкаста примерно три года назад и мы снова решили встретиться пообщаться, тем более у Юрия интересный взгляд на происходящие изменения в обществе, связанные со стремительным развитием технологий. В подкасте обсуждаем как превратить нейросеть в своего личного литературного негра, нужно ли гуманоидное тело современному секс-роботу, как сделать свою собственную Алису из Бесконечного лета, почему менеджеров автоматизировать проще, чем программистов, почему дохли куры у Ленина, почему корпорации не могут позволить себе делать, действительно, персонализированные и полезные продукты на базе ИИ, а также многое-многое другое.

Ссылки выпуска:

Предыдущий выпуск подкаста с Юрием "Искусственный Интеллект в мире моды и как подготовиться к Сингулярности" ( https://mlpodcast.mave.digital/ep-11)
Курсы по программированию (Юрия и не только): https://ulearn.me
Курс Юрия по Научному Мышлению: https://stepik.org/course/578
Телеграмм-канал Свидетели сингулярности: https://t.me/witnessesofsingularity
Ссылки на технологии, обсуждаемые в подкасте ( https://t.me/toBeAnMLspecialist/786)

Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub ( https://t.me/+HIXnIwXIIFAyYzYy). Условия участия ( https://t.me/toBeAnMLspecialist/750)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" ( https://t.me/toBeAnMLspecialist)

Мой телеграм для связи ( https://t.me/kmsint)

Также со мной можно связаться по электронной почте: kms101@yandex.ru

Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике ( https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально месяц назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_56)

Выразить благодарность можно добрым словом и/или донатом ( https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

#056 ML Юрий Окуловский. Гаражные стартапы в условиях бигбиза

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!

Ссылки выпуска:

Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" ( https://habr.com/ru/articles/759386/)
Сервис для запуска больших языковых моделей локально - lmstudio ( https://lmstudio.ai/)
Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально ( https://github.com/oobabooga/text-generation-webui)
Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM ( https://github.com/huggingface/text-generation-inference)
Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM ( https://arxiv.org/abs/2307.01850)
Пост Ильи со списком материалов для погружения в NLP ( https://t.me/natural_language_processing/81627)

Буду благодарен за обратную связь!

Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!

MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)

Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)

Мой телеграм для связи (https://t.me/kmsint)

Также со мной можно связаться по электронной почте: kms101@yandex.ru

Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!

И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры ( https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)

Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

#022 ML Татьяна Шаврина. Эволюция подходов к обработке естественного языка (NLP)

Download our free app to listen on your phone