🧱 Databricks SQL & Serverless
SQL Warehouse, Databricks SQL Editor, Dashboards, Photon
🏦 Что такое Databricks SQL?
Databricks SQL — специализированная среда для BI и SQL-аналитики. SQL Warehouse (ранее SQL Endpoint): вычислительный ресурс для SQL-запросов. Serverless SQL Warehouse — вычисления размещены в Databricks Cloud, вы не управляете узлами, запуск за секунды. Classic SQL Warehouse — на EC2/VM, более медленный запуск.
⚡ Photon Engine
Векторизованный движок запросов, написанный на C++ — ускоряет Spark DataFrame и SQL. Оптимизирован для Delta Lake и Parquet. Операции Aggregation, join, sort выполняются в 2-8x быстрее. Автоматически включён в SQL Warehouse. Photon — добавляет дополнительную стоимость, но соотношение затрат к производительности выгодное.
📊 SQL Editor & Dashboards
SQL Editor — написание запросов, визуализация, сниппеты. Dashboard — отображение результатов SQL-запросов в виде графиков, таблиц и счётчиков. Alert — email/Slack-уведомление при превышении результатом запроса порогового значения. Scheduled refresh — автоматическое обновление данных на дашборде.
🔗 JDBC/ODBC & BI Tools
JDBC/ODBC endpoint SQL Warehouse — подключение к Tableau, Power BI, Looker, DBeaver. Partner Connect — прямая интеграция с BI-инструментами прямо из интерфейса Databricks. Строка подключения: server hostname, HTTP path, access token.
💡 Ключевые моменты
- SQL Warehouse: вычисления для Databricks SQL (Serverless > Classic)
- Serverless SQL: запуск за секунды, узлами управлять не нужно
- Photon: векторизованный движок на C++, агрегация в 2-8x быстрее
- SQL Alert: уведомление по результатам запроса
- JDBC/ODBC: интеграция с Tableau, Power BI
🎯 Советы для экзамена
- SQL Warehouse ≠ All-Purpose Cluster: SQL Warehouse = BI/SQL, Cluster = notebook/ML
- Serverless SQL Warehouse — «мгновенный запуск» и auto-stop, Classic — 2-5 мин запуска
- Photon — ускоряет SQL и DataFrame API, не предназначен для streaming или ML
- Dashboard alert — уведомление при превышении порогового значения результатом запроса
- В SQL Editor есть комментарии `/* ... */`, варианты применения и история запросов
⚠️ Частые ошибки
- Считать SQL Warehouse и Interactive Cluster одним и тем же — разные вычисления, разные сценарии использования
- Считать, что Photon применим ко всем операциям Spark — Photon для SQL и DataFrame, возможности ML/streaming ограничены
- Игнорировать время холодного старта Classic SQL Warehouse — в продакшене предпочтителен Serverless
🧠 Для запоминания: «SQL Warehouse = BI-гараж»: Serverless=электромобиль (стартует быстро), Classic=бензиновый (нужен прогрев). «Photon = турбодвигатель»
Проверьте себя по теме «Databricks SQL & Serverless»
Бесплатные интерактивные тесты, пробный экзамен и полные уроки — на платформе CertMaster.
Начать бесплатно →