Выпуск 72 - Sparkalaz

00:00:15 - Что такое NVIDIA и зачем нам Spark

00:10:30 - Где жмёт PySpark в нашем процессинге и как спасает Scala

00:23:45 - Особенности архитектуры CUDA и какие последствия для реализации Spark on GPU

00:25:29 - Закон мура и почему процессингу придётся двигать в gpu за машинным обучением

00:37:54 - Проблемы построения ML пайплайнов на Spark, Apache Arrow

00:40:06 - Что уже есть в Spark на GPU

00:48:17 - Spark саммит коротенько

Полезные ссылки, которые были упомянуты в выпуске:

PravdaML

Koalas

Rapids (Spark examples)

Crail

Jacek Laskowski Git Book

Поддержи подкаст:

Поддержи подкаст!

А так же, мы решили завести Discord канал, для более тесного общения с вами!

Присоединяйтесь к сообществу Moscow Spark и Data Engineers в Telegram.

Гости:

Павел Клеменков,

Андрей Титов

Голоса выпуска:

Дмитрий Лахвич,

Григорий Помадчин,

Евгений Токарев