О позиции
Мы ищем Middle Data Engineer для присоединения к нашей команде в Selectel. Ваша работа будет заключаться в разработке и поддержке эффективных пайплайнов загрузки данных, а также в взаимодействии с владельцами данных для обеспечения их качества. Если вы ищете возможность работать в динамичной продуктовой IT-компании, предоставляющей инфраструктурные решения, эта вакансия для вас!
Чем вы будете заниматься
- Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников.
- Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow.
- Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных.
- Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга.
- Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных.
- Взаимодействие с BI разработчиками и аналитиками.
Требования
- Опыт работы с реляционными (PostgreSQL) и аналитическими (ClickHouse) базами данных.
- Опыт разработки на Python, особенно в сфере написания ELT пайплайнов и разработки DAG’ов Airflow.
- Уверенное знание SQL и опыт оптимизации запросов.
- Понимание принципов построения DWH.
- Базовые знания Linux, Docker, Git, CI/CD.
Будет плюсом
- Опыт работы с облачными платформами.
- Знание инструментов для визуализации данных.
Что мы предлагаем
- Гибкий график работы и возможность работать из разных локаций.
- Конкурентоспособная зарплата и возможности для карьерного роста.
- Доступ к современным технологиям и обучение.
- Дружелюбная команда и поддержка в развитии.
- Участие в интересных проектах и возможность влиять на их развитие.
Вакансия предлагает интересные задачи и гибкий график, что делает её привлекательной для специалистов. Однако, отсутствие конкретной информации о зарплате может вызвать вопросы у кандидатов.
Кто здесь добьётся успеха
Глубокие знания Python и опыт работы с библиотеками для обработки данных, такими как Pandas и NumPy, что позволяет эффективно разрабатывать и оптимизировать ETL-пайплайны.
Способность работать в гибридном режиме, что подразумевает высокую степень самодисциплины и умение управлять временем для выполнения задач в срок, особенно в условиях частичного удаленного взаимодействия.
Опыт работы с PostgreSQL и Clickhouse для анализа больших объемов данных, а также понимание принципов проектирования базы данных, что позволяет обеспечивать высокое качество и доступность данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости IT Infrastructure
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев