Senior Data Engineer — Microsoft Fabric и Medallion Architecture@ British American Tobacco

О позиции

Мы ищем Senior Data Engineer для работы над современным Data Warehouse и Lakehouse на платформе Microsoft Fabric. Ваша задача будет заключаться в работе с терабайтами данных, миграции с устаревших ETL-процессов на передовую архитектуру Medallion (Bronze/Silver/Gold). Вы будете заниматься полным циклом разработки: от настройки инфраструктуры до CI/CD.

Чем вы будете заниматься

• Проектирование и создание архитектуры DWH с нуля (Medallion Layers).
• Разработка надежных ETL/ELT пайплайнов с использованием ADF и Dataflow Gen2.
• Написание и оптимизация высокопроизводительного кода на PySpark для трансформации больших объемов данных.
• Оптимизация T-SQL запросов в Synapse Data Warehouse.
• Настройка Fabric Shortcuts для интеграции с AWS S3 / GCP.
• Реализация процессов CI/CD для развертывания инфраструктуры и кода.

Требования

• 5+ лет коммерческого опыта в области Data Engineering.
• Глубокая экспертиза в Microsoft Azure и экосистеме Fabric.
• Сильный опыт работы с Apache Spark (PySpark).
• Хорошее понимание паттернов Lakehouse и Data Warehousing.
• Практический опыт с CI/CD (Azure DevOps / GitHub Actions).
• Английский язык: Upper-Intermediate+ (ежедневное общение с международной командой).

Будет плюсом

• Опыт работы с Power BI для визуализации данных.
• Знание других языков программирования, таких как SQL и Python.

Что мы предлагаем

• Полностью удаленная работа.
• Международная кросс-функциональная команда.
• Современный стек технологий с возможностью влиять на архитектурные решения.