Подписывайтесь на канал подкаста в телеграме: t-do.ru/mspodcast

86-й выпуск подкаста make sense: о математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым

Собеседник: Виталий Черемисинов, Head of Data Unit в AIC

ФБ: fb.com/vit.cheremisinov

Пара цитат:

«К денежным метрикам нужен более щепетильный подход, чем к бинарным. Например, конверсия: покупка либо есть (1), либо ее нет (0), и более-менее понятно, как эту метрику интерпретировать. Если мы говорим о среднем чеке или ARPU, для интерпретации нужны разные математические и продуктовые подходы».

«Часть математического мышления — смотреть на любое природное явление через призму особенностей поведения данных по мере их накопления либо по мере их изменчивости».

О чем говорим:

1:07 — Виталий рассказывает о себе

1:54 — Почему деньги — одна из самых сложных метрик

6:17 — Математические и продуктовые подходы в интерпретации данных

10:01 — Как прогнозировать поведение пользователя без данных

11:28 — Особенности математического мышления

17:18 — Инструменты математической статистики, которые стоит перенять продактам

23:02 — ML-модели и ML-эксперименты

25:28 — Нужно ли усложнять A/B-тесты?

28:40 — Как связаны исследования и growth hacking

30:05 — О чем обычно забывают, когда собираются делать A/B-тестирование

37:32 — Как выбрать метрику, на которую ориентироваться в продукте

42:45 — Сколько занимает подготовка и проведение A/B-тестирования

44:51 — Кто входит в команду, которая проводит эксперименты

45:51 — Об исторических данных и ложных сигналах

48:47 — Что почитать об A/B-тестировании

Мы упоминаем:

— блог Виталия и Искандера Мирмахмадова Statistics Experiments: https://medium.com/statistics-experiments

— документальный фильм «Иноходец. Урок Перельмана»: https://youtu.be/fdCOrOCcB1s

— книгу Сары Бослаф «Статистика для всех»: https://www.ozon.ru/context/detail/id/140646186/

— блог Netflix: https://blog.netflix.com/

— блог Booking: https://blog.booking.com/

— блог Airbnb: https://blog.atairbnb.com/

P.S. В блоге Statistics Experiments есть подборка «Материалы по математической статистике и экспериментам: https://medium.com/statistics-experiments/материалы-по-математической-статистике-и-экспериментам-1-0-d065751b07c6