О позиции
Мы ищем Data Engineer для работы в команде Арт-Финтех. Ваша роль будет заключаться в разработке и поддержке интеграционных потоков на стеке технологий, принятых в команде. Если вы обладаете опытом работы с большими данными и хотите развиваться в области финансовых технологий, эта вакансия для вас!
Чем вы будете заниматься
- Сбор требований с бизнес-заказчиков и анализ источников данных.
- Разработка, реализация и поддержка интеграционных потоков на стеке технологий: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink.
- Оперативное реагирование на информацию о проблемах в зоне ответственности.
- Выполнение типовых задач в установленный срок.
- Поддержание актуальности документации типовых интеграционных решений.
- Предоставление отчетности о своей деятельности руководителю.
Требования
- Гражданство и локация РФ.
- Общее представление о стеке технологий Lakehouse.
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера.
- Знание SQL (индексы, функции, оптимизация, профилирование производительности).
- Знание языков программирования (JAVA, Python).
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.).
- Умение работать с Git (знание команд git pull/commit/push).
- Опыт работы с DBT, Cosmos, Ni-Fi.
- Опыт разработки на Spark.
- Понимание особенностей Trino.
- Понимание форматов данных Iceberg, Parquet, Avro.
- Понимание работы с minio или любого другого хранилища на основе S3.
- Опыт использования систем ведения проектов и документации.
Будет плюсом
- Опыт работы с Apache Airflow.
- Знание ClickHouse.
- Опыт работы с Hadoop.
Что мы предлагаем
- Конкурентная зарплата до 300 000 ₽ на руки.
- Полный рабочий день, 5/2.
- Возможность удаленной работы.
- Работа в стабильной компании с более чем 20-летним опытом на рынке.
- Участие в интересных проектах в области финансовых технологий.
- Дружный коллектив и возможность профессионального роста.
Если вы готовы к новым вызовам и хотите стать частью нашей команды, переходите по ссылке для отклика!
Вакансия предлагает интересные условия для специалистов в области больших данных. Однако, описание вакансии может быть более детализированным в части обязанностей и требований.
Кто здесь добьётся успеха
Глубокое знание SQL и опыт работы с Clickhouse и Trino для оптимизации запросов и управления большими данными.
Способность эффективно работать в удаленном режиме, проявляя проактивность и самодисциплину в управлении задачами и сроками.
Опыт разработки интеграционных потоков с использованием Spark и Hadoop, а также навыки работы с dbt для трансформации данных.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости FinTech
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев