🧱 Workflows & Jobs
Databricks Jobs, Tasks, Dependencies и мониторинг
⚙️ Databricks Jobs
Job — workflow, состоящий из одной или нескольких задач (tasks). Trigger: Manual, Scheduled (cron), File arrival, Continuous. Task types: Notebook, Python script, Spark submit, SQL, DLT pipeline, dbt.
🔗 Task Dependencies
Цепочка зависимостей между задачами: Directed Acyclic Graph (DAG). После успешного завершения задачи запускается следующая. Триггеры: On success, On failure, On completion. Task values — передача данных между задачами (
dbutils.jobs.taskValues).📊 Job Monitoring
История запусков (Job Run history), логи, длительность. Email notifications: success, failure, timeout. Webhook notifications: Slack, PagerDuty. Job Repair — повторный запуск упавшей задачи (не с начала). Retry policy.
💡 Ключевые моменты
- Job = Task DAG, Trigger: cron/manual/file
- Job Cluster — новый кластер для каждого job (экономично)
- Task Values: передача параметров между задачами
- Job Repair: продолжение только с упавшей задачи
- Email/Webhook: уведомление о статусе job
🎯 Советы для экзамена
- Тип триггера: Scheduled (cron) = по расписанию, File Arrival = при появлении нового файла, Continuous = стриминговый job
- Task types: Notebook, Python Script, DLT Pipeline, dbt, SQL — на экзамене нужно выбирать правильный тип задачи для разных сценариев
- Job Repair — перезапуск ТОЛЬКО упавшей задачи: успешно завершённые задачи не выполняются повторно
dbutils.jobs.taskValues.get("taskName", "key")— получение значения из другой задачи- Retry policy — автоматический повторный запуск задачи при сбое (max attempts, delay)
⚠️ Частые ошибки
- Путаница между Job Cluster и All-Purpose Cluster — Job Cluster создаётся заново для каждого запуска, All-Purpose работает постоянно
- Ошибочное мнение, что Job Repair перезапускает job с начала — Repair продолжает только с FAILED задачи
- Незнание того, что задачи без зависимостей выполняются параллельно — независимые задачи запускаются параллельно
🧠 Для запоминания: "Jobs = DAG of Tasks": D (Dependencies), A (Actions/types), G (Graph order). "REPAIR = Resume from failure, not Restart from zero"
Проверьте себя по теме «Workflows & Jobs»
Бесплатные интерактивные тесты, пробный экзамен и полные уроки — на платформе CertMaster.
Начать бесплатно →