Python-разработчик — ETL процессы и ClickHouse@ МегаФон

О позиции

Компания Мегафон ищет Python-разработчика для работы в офисе в Екатеринбурге. Ваша основная задача будет заключаться в проектировании, разработке и оптимизации ETL процессов для загрузки данных из различных источников. Вы будете управлять потоковой обработкой данных с использованием Apache Kafka и разрабатывать решения на базе ClickHouse.

Чем вы будете заниматься

• Проектирование, разработка, оптимизация и поддержка ETL процессов.
• Управление потоковой обработкой данных с использованием Apache Kafka.
• Разработка и оптимизация структур данных и запросов в PostgreSQL.
• Построение и администрирование ClickHouse кластеров.
• Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами.
• Мониторинг производительности и отказоустойчивости data pipeline.
• Автоматизация процессов обработки данных и развертывания (CI/CD).
• Взаимодействие с аналитиками и разработчиками для понимания потребностей в данных.

Требования

• Опыт работы от 2-х лет на Python, знание Golang будет плюсом.
• Опыт разработки и администрирования ClickHouse.
• Глубокое понимание Apache Kafka и настройка потоков данных.
• Опыт работы с PostgreSQL и написание сложных SQL-запросов.
• Понимание принципов построения ETL процессов и DevOps.

Будет плюсом

• Знание Docker, Kubernetes и Linux.
• Опыт работы с облачными решениями.

Что мы предлагаем

• Конкурентная зарплата от 180 000 до 320 000 ₽ в месяц.
• Работа в команде профессионалов.
• Возможности для профессионального роста и развития.
• ДМС и другие социальные гарантии.
• Гибкий график работы.
• Современный офис в центре Екатеринбурга.