Опівночні Балачки

Полуночный трёп №12: Data Mesh - почему, что и как.

Listen Later

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

  • 0:00:00-0:01:35 Intro. Почему именно эта тема
  • 0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство)
  • 0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
  • 0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
  • 0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
  • 0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
  • 1:00:01 -  1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
  • 1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
  • 1:13:26 - 1:32:50  Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
  • 1:32:50 - 1:33:55 Outro

    • Ссылки

    Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

    Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

    Инструменты не влазят в лимиты описание, поэтому они вот.


    Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

    Музыка подкаста: Harris Heller - StreamBeats

    ...more
    View all episodesView all episodes
    Download on the App Store
    Опівночні БалачкиBy Денис, Ігор, Саша