Data Coffee

Тема выпуска "Apache Superset"!

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

00:35 Кофе с заменителем молока, который приходится любить

02:09 Что такое Apache Superset и зачем его использовать

07:27 Основные функции и типы источников данных

12:12 Насколько сложен инструмент для менеджеров и аналитиков

13:42 Кастомизация

18:47 Внутреннее представление данных и загрузка своих csv/xlsx

20:41 Что можно сделать с данными после их получения

26:16 Доступ и полномочия

29:28 Способы запустить локально и развитие продукта

31:50 Динамические дашборды и Jinja-шаблонизация

34:47 Как обновляются дашборды, realtime и GIS-данные

39:35 Насколько стабилен Superset и чего в нём не хватает

45:27 Зачем забирать данные из Elasticsearch в Superset

46:49 Superset as a Service

49:41 Куда движется Superset

56:18 Три причины использовать Superset

Обложка - https://superset.apache.org

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска "Умный" дом и его особенности

В гостях у подкаста `Data Coffee` организатор DIY-митапов, энтузиаст DIY, умных домов и 3D-принтеров, iOS-разработчик - Вадим Балашов  (Хабр)

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

02:03 DIY-энтузиазм

03:57 Профессионалы в “умных” домах

06:35 Что такое “умный” дом

08:30 Уведомления от домашних систем в коммунальные службы

10:50 Думали мы забыли про кофе? Ни за что!

13:08 “Зоопарк” экосистем — можно ли объединить всё под одной крышей?

19:08 Проблемы с политиками производителей

22:53 Недостаточно одних лишь денег для того, чтобы настроить себе “умный” дом

31:29 Виртуальные устройства для расширения систем

34:32 Что можно сегодня автоматизировать в доме

42:20 Продажа “умного” жилья. Делаем дом глупее или зарабатываем на новом хозяине?

47:07 Привязка к электропитанию и подключение своих устройств

55:42 Когда перейдём от автоматики к действительно “умным” домам?

Обложка - LindaInpijn, CC BY-SA 4.0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Ведущие подкаста "Data Coffee" обсуждают новости и делятся своими мыслями!

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

01:05 Топ-100 компаний, работающих в облаке

10:51 Каждый сантиметр роста прибавляет мужчине почти $1000 годового дохода

19:30 Пассажиры московского метро смогут оплатить за проезд лицом

26:29 ФБР сделал "безопасный" мессенджер для преступников

32:40 Яндекс запускает беспилотное такси

40:55 Комната, которая заряжает смартфоны и ноутбуки без проводов

45:09 «Открытая Крионика» обвинила «КриоРус» в краже тел и оборудования из хранилища

53:02 Вырастили искусственный мозг с глазами

Обложка - Julie St. Louis, U.S. Fish and Wildlife Service, Public domain, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска “Spark, Pandas, Scala и Zeppelin”

В гостях у подкаста `Data Coffee` developer advocate из JetBrains - Паша Финкельштейн (Twitter, LinkedIn, Telegram)

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

00:42 Чем занимается Developer Advocate

02:47 Итальянская обжарка убивает кофе

04:49 Что такое Spark

14:58 Много языков — это хорошо

19:06 Чем хорош Spark

21:01 Чем хороша Scala

24:10 Учить PySpark или сразу Scala?

27:23 Знакомство со Spark через Zeppelin

35:30 Что хуже — Jupyter или Zeppelin

43:08 Истории из проектов гостя

50:08 Big Data Tools от JetBrains

Обложка - https://scala-lang.org

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска "NLP и его место в машинном обучении"!

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

03:40 Что такое NLP

06:45 Учёные делятся знаниями

10:30 Изучение редких языков

12:56 Где находится NLP в мире ML

16:37 Что лежит в основе Elasicsearch

23:18 DS и ML — одно и то же?

27:26 Кто такой ML-инженер

35:21 Популярные инструменты в NLP

39:28 Предобработка текста

41:35 Популярные задачи, решаемые с помощью NLP

45:21 Вспомнили сериал Доктор Кто

46:51 Проблемы классификации текстов и пути решения

58:42 NLP для emoji и картинок

Обложка - "language variety on cadbury's choc" by nofrills is licensed underCC BY-NC 2.0

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска “Игры глазами продакт-менеджера”

В гостях у подкаста `Data Coffee` продакт-менеджер из Москвы - Валера Попов (Twitter)

Подкаст `Data Coffee` — информационный партнёр конференции SmartData 2021. SmartData — это большая техническая конференция по Data Engineering. Десятки докладов, воркшопов, Q&A-сессий — первые доклады и имена спикеров уже появляются на сайте! Промокод на 2000 рублей: datacoffe2021JRGpc

Shownotes:

01:50 Не все любят кофе

03:30 Чем занимается гость

05:44 Нужны ли hard skills менеджеру

08:54 Пайплайн всех IT проектов одинаков

13:58 Кому показывать новые фичи

15:58 Как хранят данные в команде у гостя

21:42 Аналитика на разных платформах разная?

26:57 Retention и play-time

32:20 Угадывание ожиданий пользователей

33:47 На какие группы делить игроков

34:33 Что такое Roblox

37:12 Что можно проанализировать на примере SkyRim

40:10 Как вернуть игрока в игру

41:38 Всё крутится вокруг денег

48:13 Взрывающийся вертолёт

48:49 Чёрные механики и лутбоксы

54:00 Психологи в штате игровых студий

55:44 Metroidvania

Обложка - XOXO, CC0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Ведущие подкаста "Data Coffee" обсуждают новости и делятся своими мыслями!

Shownotes:

01:24 Управление морганием глаз и похожие технологии

08:37 Алгоритмы Twitter предвзяты к темнокожим

14:41 Девять мастер-лиц могут обойти системы распознавания

20:36 46% Python-пакетов в PyPI содержат потенциально небезопасный код

30:42 Apple будет проверять контент на наших устройствах

43:11 “Умный” дом — отстой и разваливается как концепция

57:16 За нами следят и через принтеры тоже

1:11:11 Опрос от Stackoverflow: популярные языки программирования и другое

Обложка - Yuri Ribeiro Sucupira, CC0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска “Хранилище данных Яндекс.Go”

В гостях у подкаста `Data Coffee` руководитель DWH Яндекс.Go - Евгений Ермаков (Сайт)

Shownotes:

01:35 Традиционно про кофе

03:29 Отличия Яндекс от других компаний

06:49 Что "своё” Евгений сделал в Яндексе

12:18 Экономия места или скорости

14:25 Факторы влияющие на оптимизацию

16:54 На чём построена кодогенерация

17:44 Анализ существующих решений

26:13 Бизнес-глоссарий для данных

29:02 “Под капотом” — кластеры YT и Greenplum

31:41 Эксклюзив для Data Coffee: тизер будущего доклада про трудности в оптимизации Greenplum

38:02 Батчинг, стриминг, вот это всё

39:43 Переходим от технического к более общему

40:02 Как выдвигаются идеи и как потом внедряются

43:02 Ревью, встречи 1:1 и хуралы

45:28 Как оценить затраты на новый проект и искать потом на него людей

51:22 Масштабирование хранилища при переходе от Такси к Go

56:22 Можно ли подкрутить рейтинг в Такси и Драйве

Обложка - smallcurio, CC BY 2.0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Ведущие подкаста "Data Coffee" обсуждают новости и делятся своими мыслями!

Shownotes:

01:04 “Не сможешь поставить Gentoo за 10 дней — нечего тебе делать в IT” и другие тезисы

25:23 Синхронный перевод видео в Яндекс.Браузере

36:49 Необычные плейлисты Spotify

41:38 Яндекс.Драйв будет повышать тарифы за неаккуратное вождение

48:33 Открытые датасеты для беспилотников, прогноза погоды и переводчика

52:43 Мозг подстраивается под новые органы и обстоятельства

1:07:25 Имплантация в тело чипов и не только

1:15:06 Восстановление телескопа Hubble

1:18:45 Схожесть между emoji

Обложка - WCusr2019, CC0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat

Тема выпуска “IT-системы на автомагистралях”

В гостях у подкаста `Data Coffee` product owner компании Глосав - Алексей Мелёхин (Хабр)

Shownotes:

01:03 Как обычно, про кофе

04:15 Чем занимается гость?

06:37 Что включает в себя проект "автоматизации" дороги?

08:28 Как работает взимание платы

12:36 Что делать с любителями скрыть номер?

13:46 Системы на дорогах: управление движением и взимания платы

15:30 Система фиксации нарушений и доказательства в суде

18:52 Инородные предметы и непредвиденные ситуации

22:43 Какая информация выводится на панели и знаки

26:12 Другая автоматизация: метеостанции, вода и лёд на покрытии, коэффициент сцепления

28:18 Как работают автоматические сценарии

28:47 Знаки на табло не являются знаками дорожного движения

30:18 Как происходит обмен данными с датчиками на дороге

33:51 Как обеспечить качество распознавания (классификация)?

36:02 Протоколы передачи "обстановки" от дорожных систем в автомобиль?

38:47 Ограничения Carplay / Android Auto

40:43 Далеко ли от дороги ЦОД?

41:33 GPU в серверах ЦОД

42:21 Как устроена система автоматического распознавания инцидентов

44:25 Alex чуть не уехал на встречку из Кипрского аэропорта

45:53 Подбивается ли статистика постфактум?

47:58 Про мост Golden Gate и оптимизацию трафика

50:16 Количество данных, которое генерируется в системах

52:01 Как организован доступ аналитиков к данным

54:26 Пользуются ли Data Scientists этими данными?

58:22 Контроль выезда на встречную полосу с помощью квадрокоптеров

1:00:47 Пролемы беспилотных автомобилей на дорогах

1:04:34 Системы моделирования трафика

1:07:29 Сложность системы и конкуренция на рынке в РФ

Обложка - Rob Croes / Anefo, CC0, via Wikimedia Commons

Сайт: https://datacoffee.link, канал в Telegram: https://t.me/datacoffee, профиль в Twitter: https://twitter.com/_DataCoffee_

Чат подкаста, где можно предложить темы для будущих выпусков, а также обсудить эпизоды: https://t.me/datacoffee_chat