Инженер по данным — ETL и AWS для фармацевтических продаж@ Freelanceroff

О позиции

Мы ищем Инженера по данным для разработки ETL-процессов и архитектуры данных на базе AWS для фармацевтической отрасли. Ваша задача будет заключаться в создании и поддержке масштабируемых ETL-пайплайнов, которые обеспечат обработку и доставку данных о продажах и активности врачей в систему Veeva CRM для регионов Европы и России.

Чем вы будете заниматься

• Создание и поддержка ETL-пайплайнов с использованием Python, PySpark и Spark SQL.
• Реализация бизнес-логики, специфичной для регионов ЕС и РУ.
• Проектирование архитектуры S3 для хранения данных (сырые, обработанные и зоны ошибок).
• Разработка триггеров AWS Lambda для валидации схем и файлов.
• Оркестрация рабочих процессов с помощью AWS Step Functions и автоматизация задач EMR.
• Очистка данных, дедупликация, агрегация и генерация KPI.
• Реализация проверок качества данных в соответствии с требованиями BRD.
• Мониторинг пайплайнов с использованием CloudWatch и SNS.
• Поддержка валидации UAT и окончательной доставки данных в Veeva CRM.

Требования

• Опыт работы с Amazon Web Services (AWS), включая AWS Lambda и S3.
• Знания в области больших данных и ETL-процессов.
• Опыт работы с PySpark и Python.
• Знания SQL и Hadoop.
• Способность работать с высокими объемами данных и обеспечивать качество данных.

Будет плюсом

• Опыт работы с Veeva CRM.
• Знание методов очистки и обработки данных.
• Опыт работы в фармацевтической или медицинской сфере.

Что мы предлагаем

• Гибкий график работы и возможность удалённой работы.
• Конкурентоспособная оплата труда.
• Возможности для профессионального роста и обучения.
• Работа в команде профессионалов в области данных.
• Участие в интересных и значимых проектах.