🧱 Data Governance & Lakehouse
Архитектура Lakehouse, Data Catalog, Lineage, Delta Sharing
🏛️ Lakehouse Pattern
Lakehouse = объединение Data Lake (дешёвое хранилище, гибкость) + Data Warehouse (ACID, соблюдение схемы, производительность BI). Delta Lake реализует эту концепцию. Единый источник — для batch, streaming, ML и BI. Databricks = платформа Lakehouse. Apache Iceberg и Apache Hudi — альтернативные форматы открытых таблиц.
🔍 Unity Catalog Data Discovery
Data Explorer — просмотр catalog, schema, table, view, function. Table Tags — метаданные-метки (PII, Confidential). Comments — описание таблиц и столбцов. Search — поиск таблиц по ключевым словам. Data Profile — автоматическая статистика (null count, distinct, min/max).
🔗 Data Lineage
Unity Catalog — автоматическое отслеживание происхождения данных: откуда пришла та или иная таблица. Column-level lineage: через какие трансформации прошёл конкретный столбец. Критически важно для GDPR и compliance. Lineage Graph — визуальное отображение. Доступно только в Unity Catalog (в Hive Metastore отсутствует).
📤 Delta Sharing
Delta Sharing — открытый протокол для совместного использования Delta-таблиц с другими организациями или облаками. Recipient — Databricks или non-Databricks (pandas, Spark). Общие данные обновляются в режиме реального времени. Только чтение (Read-only). Копирование данных отсутствует — виртуальный доступ. Лицензия Apache, cloud-neutral.
💡 Ключевые моменты
- Lakehouse = комбинация Lake (дешёвое хранилище) + Warehouse (ACID, BI)
- Unity Catalog: обнаружение данных, теги, комментарии, поиск
- Data Lineage: на уровне таблиц и столбцов (только в UC)
- Delta Sharing: открытый протокол, внешний доступ, без копирования данных
- Data Profile: автоматическая статистика
- Iceberg/Hudi — альтернативы Delta Lake в качестве форматов открытых таблиц
🎯 Советы для экзамена
- Lakehouse = Lake + Warehouse — единая платформа для всей аналитики
- Получатель Delta Sharing: Databricks или non-Databricks (Python, pandas)
- Column-level lineage — только в Unity Catalog, в Hive Metastore отсутствует
- Data Lineage важен для соответствия требованиям GDPR — кто и к каким PII-данным обращался
- Delta Sharing: данные не копируются, виртуальный read-only — без затрат на хранилище
⚠️ Частые ошибки
- Считать Lakehouse = Data Lake — Lakehouse добавляет ACID-транзакции и соблюдение схемы
- Считать Delta Sharing = репликацией данных — копирования нет, только виртуальный read-only доступ
- Считать, что lineage в Unity Catalog отслеживает все операции — только SQL и DataFrame API
🧠 Для запоминания: "Lakehouse = Lake + House": Lake=дешёвое хранилище, House=упорядоченность (ACID, схема). "Delta Sharing = Библиотека": оригинальная книга (данные) хранится на месте, остальные читают — копий нет
Проверьте себя по теме «Data Governance & Lakehouse»
Бесплатные интерактивные тесты, пробный экзамен и полные уроки — на платформе CertMaster.
Начать бесплатно →