О позиции
Мы ищем Middle Data Engineer для присоединения к нашей команде в Selectel. Эта позиция предлагает возможность работать в продуктовой IT-компании, предоставляющей клиентам инфраструктурные решения, включая облачные сервисы и выделенные серверы. Вы будете иметь возможность влиять на качество данных и участвовать в разработке эффективных пайплайнов загрузки данных.
Чем вы будете заниматься
- Взаимодействие с владельцами данных по вопросам сбора и качества данных.
- Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow.
- Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда» и создание витрин данных.
- Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга.
- Участие в развитии процессов Data Quality, Data Catalog и Data Lineage.
- Взаимодействие с BI разработчиками и аналитиками.
Требования
- Опыт работы с реляционными (PostgreSQL) и аналитическими (ClickHouse) базами данных.
- Опыт разработки на Python, особенно в сфере написания ELT пайплайнов и разработки DAG’ов Airflow.
- Уверенное знание SQL и опыт оптимизации запросов.
- Понимание принципов построения DWH.
- Базовые знания Linux, Docker, Git, CI/CD.
Что мы предлагаем
- Конкурентоспособная заработная плата.
- Гибкий график работы и возможность удалённой работы.
- Работа в команде профессионалов.
- Возможности для профессионального роста и развития.
- Доступ к современным технологиям и инструментам.
Вакансия предлагает интересные задачи в области работы с данными и разработки пайплайнов. Условия работы гибкие, что является плюсом для многих кандидатов.
Кто здесь добьётся успеха
Глубокие знания Python и опыт работы с библиотеками для обработки данных, такими как Pandas и NumPy, для эффективного анализа и трансформации данных.
Способность работать в гибридном режиме, демонстрируя высокую степень самодисциплины и организованности, что позволяет эффективно управлять временем и задачами как в офисе, так и удаленно.
Опыт разработки ETL-пайплайнов с использованием Apache Airflow, что позволяет эффективно автоматизировать процесс загрузки и обработки данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Cloud Infrastructure
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев