Data-инженер — проектирование ETL-процессов@ ФГБУ «ЦНИИОИЗ»

О позиции

Мы ищем Data-инженера для работы в ФГБУ «ЦНИИОИЗ», который будет заниматься проектированием и разработкой ETL-процессов. Это уникальная возможность работать в подразделении Министерства здравоохранения, которое решает приоритетные задачи и управляет важными проектами.

Чем вы будете заниматься

• Проектировать, разрабатывать и сопровождать ETL/ELT-процессы для загрузки, преобразования и контроля качества данных;
• Разрабатывать и оптимизировать сложные DAG в Apache Airflow;
• Проектировать архитектуру пайплайнов данных с учетом надежности, масштабируемости и производительности;
• Интегрировать данные из различных источников: PostgreSQL, внешние API, webhook, S3-совместимые хранилища и другие системы;
• Разрабатывать и сопровождать пайплайны обработки данных на Python и Apache Spark;
• Работать с lakehouse-архитектурой и таблицами Apache Iceberg;
• Оптимизировать SQL-запросы, ETL/ELT-процессы и инфраструктуру обработки данных;
• Писать тесты для пайплайнов данных, обеспечивать качество и стабильность решений;
• Проводить code review и участвовать в развитии инженерных стандартов команды;
• Взаимодействовать с аналитиками, BI-специалистами и разработчиками для реализации бизнес-требований к данным;
• Участвовать в сопровождении инфраструктуры и разборе инцидентов.

Требования

• Опыт работы дата-инженером / ETL-разработчиком / backend-разработчиком от 1 года;
• Уверенное знание Python;
• Уверенное знание SQL, опыт написания и оптимизации сложных запросов;
• Практический опыт работы с PostgreSQL;
• Опыт работы с Apache Airflow, умение самостоятельно создавать и сопровождать сложные DAG;
• Понимание архитектуры пайплайнов данных и умение проектировать технические решения;
• Опыт разработки ETL/ELT-пайплайнов;
• Опыт оптимизации производительности обработки данных;
• Навыки написания тестов;
• Опыт проведения code review;
• Опыт работы с различными источниками данных и интеграциями;
• Самостоятельность, системное мышление, ответственность;
• Высшее образование (любое) - обязательно.

Что мы предлагаем

• Зарплата 200 -280 тыс руб (на руки), в зависимости от уровня;
• Ненормированный график, но без переработок (любые переработки компенсируются дополнительными выходными днями, но нужно быть готовым в случае необходимости поработать и поздно вечером, и в выходной день);
• Офис в центре города (м. Трубная/Цветной бульвар).