Data Engineer — проектирование и разработка сервисов@ 2ГИС

О позиции

Компания 2Гис ищет Data Engineer для работы над проектами в области обработки данных. Ваша задача — проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей, а также повышать эффективность пайплайнов для расчета daily-признаков на основе batch процессинга. Вы будете работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Чем вы будете заниматься

• Повышение эффективности пайплайнов для расчета daily-признаков на основе batch процессинга.
• Создание эффективного пайплайна для расчёта realtime-признаков на основе Kafka-топиков.
• Проектирование и разработка сервисов, обрабатывающих миллиарды событий пользователей.
• Решение сложных инженерных задач: расчеты метрик, построение витрин.
• Работа с потоками данных и интеграциями между CDP и другими системами 2ГИС.
• Влияние на архитектурные решения и качество кода.

Требования

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Хорошее понимание работы Spark и умение его готовить.
• Хорошее владение одним из языков программирования (например, Python или Scala).
• Самостоятельность и проактивность — вы не ждете постановок, а предлагаете решения.
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

Что мы предлагаем

• Конкурентная заработная плата.
• Удалённая работа с гибким графиком.
• Возможность влиять на архитектурные решения.
• Работа в команде профессионалов.
• Доступ к современным технологиям и инструментам.
• Возможности для профессионального роста и развития.