Data Engineer — разработка data lakehouse-решения

О позиции

На долгий интересный проект требуется Data Engineer (Middle+ / Senior) для разработки data lakehouse-решения под NDA для крупного заказчика. Вы будете работать с большими объёмами данных, многоуровневой архитектурой и строгими требованиями к качеству и производительности пайплайнов. Проект продлится до конца этого года с возможностью продления.

Чем вы будете заниматься

• Разработка и оптимизация ETL/ELT-пайплайнов под большие объёмы данных.
• Парсинг, валидация и трансформация XML-данных.
• Построение слоёв raw → processed → curated (Parquet + S3).
• Реализация нормализации, дедупликации и формирования "золотых" записей.
• Тюнинг производительности и обеспечение стабильности в продакшене.
• Подготовка решений к переносу в закрытый контур заказчика.
• Взаимодействие с аналитиками, архитектором, DevOps и командой.

Требования

• Уверенное владение Python, понимание ООП, типизации, работы с памятью.
• Опыт построения пайплайнов в продакшн (от 1–2 лет активной поддержки).
• Обработка данных с использованием PySpark / pandas / аналогов.
• Знание форматов Parquet, columnar storage (понимание partitioning, compression, schema evolution).
• Опыт работы с хранилищами S3 или аналогами (MinIO, Yandex Object Storage и т.д.).
• Знание архитектуры Data Lake / Lakehouse, multi-layer: raw → processed → curated.
• Опыт работы с PostgreSQL, Greenplum, ClickHouse (или аналогами); продвинутый SQL (оконные функции, CTE, оптимизация запросов).
• Знание Apache Airflow (или аналогов: Dagster, Prefect, Temporal).
• Опыт работы с Docker, CI/CD (GitLab CI, GitHub Actions, Jenkins).
• Опыт работы с облаками Yandex Cloud / AWS / GCP (любая из трёх, понимание IAM, сетей, compute/storage).

Будет плюсом

• Глубокая оптимизация Apache Spark: shuffle, partitioning, broadcast joins, динамическое выделение ресурсов.
• Опыт работы с Trino / Presto для аналитических запросов поверх lakehouse.
• Опыт работы в закрытых контурах / on-premise / air-gapped средах.
• Понимание концепций Data Mesh / Data Fabric.
• Опыт написания unit/integration тестов для пайплайнов (pytest, Great Expectations, dbt tests).

Что мы предлагаем

• Гибкий график работы: 3 дня в офисе, 2 дня дома.
• Работа в команде профессионалов с возможностью карьерного роста.
• Интересные задачи и возможность работать с новыми технологиями.
• Конкурентоспособная зарплата с возможностью пересмотра по результатам работы.
• Доступ к обучению и профессиональному развитию.
• Участие в крупных проектах с известными клиентами.