🔵 Data & Analytics Services
Pub/Sub, Dataflow, Dataproc, BigQuery optimization, Cloud Composer
📨 Cloud Pub/Sub
Полностью управляемый брокер сообщений. Topic — канал публикации сообщений. Subscription: Pull (подписчик запрашивает) или Push (Pub/Sub отправляет на endpoint). At-least-once delivery. Message ordering — с помощью ordering key. Snapshot — сохранение состояния subscription. Интеграция с Dataflow, Cloud Functions, Cloud Run.
🌊 Cloud Dataflow
Полностью управляемый Apache Beam runner. Batch и Streaming в одном API. Auto-scaling — количество worker-ов регулируется автоматически. Templates: Classic (JAR в GCS) и Flex (Docker). Pub/Sub → Dataflow → BigQuery — широко распространённый паттерн pipeline. SQL-подобный Dataflow SQL. Streaming windowing: Fixed, Sliding, Session.
🐘 Cloud Dataproc
Управляемый кластер Hadoop и Spark. Cluster types: Standard, Single Node, High Availability. Autoscaling. Ephemeral cluster — создаётся под задачу и удаляется после её завершения (экономично). GCS + Dataproc — использование GCS вместо HDFS. Поддерживает Hive, Pig, Spark, Presto.
🎼 Cloud Composer
Управляемый Apache Airflow. DAG (Directed Acyclic Graph) — определение рабочего процесса. Пишется на Python. Операторы: BashOperator, BigQueryOperator, DataflowOperator, PubSubOperator. Composer 2 — на основе Autopilot GKE, версионирование, обновление окружения. Идеален для оркестрации пакетных ETL-процессов.
📊 Сервисы обработки данных GCP
| Сервис | Framework | Use Case | Ключевая особенность |
|---|---|---|---|
| Pub/Sub | Native | Messaging, event bus | At-least-once, push/pull |
| Dataflow | Apache Beam | Batch + Streaming ETL | Unified, auto-scale, serverless |
| Dataproc | Spark/Hadoop | Existing Spark jobs | Managed cluster, ephemeral |
| BigQuery | SQL | Analytics (OLAP) | Serverless, PB scale |
| Composer | Apache Airflow | Workflow orchestration | DAG, scheduling, dependencies |
💡 Ключевые моменты
- Pub/Sub: topic + subscription (pull/push), at-least-once
- Dataflow: Apache Beam, batch+stream, auto-scaling
- Dataproc: managed Spark/Hadoop, ephemeral cluster
- Composer: managed Airflow, DAG, Python, ETL orchestration
- Dataflow vs Dataproc: Beam API vs Spark/Hadoop API
🎯 Советы для экзамена
- «Apache Beam» → Dataflow. «Apache Spark existing code» → Dataproc
- Ephemeral cluster в Dataproc: создать кластер под задачу и удалить после завершения = экономичный паттерн
- Pub/Sub pull: подписчик запрашивает сам. Push: Pub/Sub отправляет HTTP POST на endpoint
- Composer DAG = Python: BashOperator, BigQueryOperator, GCSOperator — важно правильно выбрать оператор
- Dataflow template — готовый pipeline: Pub/Sub to BigQuery, GCS to BigQuery
⚠️ Частые ошибки
- Считать Dataflow и Dataproc одним и тем же: Dataflow=Apache Beam (serverless), Dataproc=Spark/Hadoop (кластер)
- Считать at-least-once в Pub/Sub эквивалентом exactly-once — для дедупликации на стороне подписчика необходима идемпотентная обработка
- Путать Composer с Dataflow: Composer=оркестрация (планировщик), Dataflow=выполнение (обработка данных)
🧠 Для запоминания: «PDBC» = Pub/Sub (сообщение), Dataflow (обработка), BigQuery (хранение/анализ), Composer (оркестрация) — четыре шага GCP data pipeline
Проверьте себя по теме «Data & Analytics Services»
Бесплатные интерактивные тесты, пробный экзамен и полные уроки — на платформе CertMaster.
Начать бесплатно →