🧱 Databricks Platform
Workspace, Clusters, DBFS, Repos и основные концепции
🏠 Databricks Workspace
Workspace — основной интерфейс среды Databricks. Notebooks — Python, SQL, Scala, R. Repos — интеграция с Git (GitHub, GitLab, Bitbucket). DBFS (Databricks File System) — распределённая файловая система, абстракция над S3/ADLS/GCS.
⚙️ Clusters
All-Purpose Cluster — интерактивная разработка, работа с notebooks. Job Cluster — создаётся автоматически, удаляется после завершения задачи (экономичный). Cluster Policy — ограничение конфигурации. Auto-scaling и Auto-termination.
🔒 Unity Catalog
Единое управление данными и их обнаружение. Metastore → Catalog → Schema (Database) → Table/View/Function. Трёхуровневое пространство имён: `catalog.schema.table`. Безопасность на уровне столбцов, фильтрация строк, отслеживание происхождения данных.
💡 Ключевые моменты
- All-Purpose: интерактивный, Job Cluster: автоматизированный (дешевле)
- DBFS: виртуальная файловая система над S3/ADLS
- Unity Catalog: 3-уровневое пространство имён, управление данными
- Repos: интеграция с Git для контроля версий notebooks
- Auto-termination: автоматическое отключение простаивающего кластера
📋 Пример кода
# Cluster konfiguratsiya misoli
Runtime: 14.3 LTS (Spark 3.5, Scala 2.12)
Node type: Standard_DS3_v2
Min workers: 2, Max workers: 8 (autoscale)
Auto-termination: 30 daqiqa
# DBFS path misollari
dbfs:/FileStore/data/my_file.csv
/dbfs/FileStore/data/my_file.csv # local path
%fs ls dbfs:/FileStore/🎯 Советы для экзамена
- Job Cluster — всегда предпочтителен для автоматизированных задач: start → run → terminate (экономично)
- Unity Catalog 3 уровня: catalog.schema.table — в AWS Glue только 2 уровня (database.table)
- DBFS root (`dbfs:/`) — управляется самим Databricks, это НЕ пользовательский S3 bucket
- Cluster Policy — конфигурация, ограниченная администратором. Пользователи без прав администратора обязаны соблюдать эту политику
- Repos — коммит и пуш в Git можно делать напрямую из notebook
⚠️ Частые ошибки
- Использование All-Purpose Cluster для production-задач — дорого! Нужно использовать Job Cluster
- Считать, что DBFS = S3 — DBFS является абстракцией над S3, а не отдельным хранилищем
- Путать Unity Catalog metastore с Hive metastore — оба могут существовать одновременно
🧠 Для запоминания: "AJR" = All-purpose (интерактивный), Job cluster (production), Repos (git) — 3 ключевые концепции Databricks. "UC 3L" = Unity Catalog 3-Level: Catalog → Schema → Table
Проверьте себя по теме «Databricks Platform»
Бесплатные интерактивные тесты, пробный экзамен и полные уроки — на платформе CertMaster.
Начать бесплатно →