О позиции
Компания Outlines Tech ищет ведущего разработчика ETL для работы с большими данными. Ваша задача будет заключаться в разработке и сопровождении ETL-процессов, а также в работе с современными инструментами для обработки данных. Мы предлагаем возможность удаленной работы и конкурентоспособную зарплату.
Чем вы будете заниматься
- Разработка и сопровождение ETL-процессов для обработки больших объемов данных.
- Работа с Apache Spark и PySpark для обработки данных.
- Создание и поддержка архитектуры Data Vault.
- Использование Apache Airflow для автоматизации процессов.
- Работа с Hadoop/HDFS и S3-хранилищами.
- Участие в проектировании и реализации новых решений для обработки данных.
Требования
- Коммерческий опыт разработки в Big Data от 3 лет.
- Уверенное знание Python и SQL.
- Опыт работы с Apache Spark и PySpark.
- Практический опыт работы с Apache Airflow.
- Знание форматов Parquet и ORC.
- Опыт работы с Git и CI/CD инструментами.
- Базовое понимание работы Kafka.
Будет плюсом
- Опыт работы с архитектурой Data Vault.
- Знание других инструментов для обработки данных.
Что мы предлагаем
- Конкурентоспособная зарплата от 220 000 до 270 000 ₽.
- Полностью удаленная работа.
- Фултайм занятость.
- Возможности для профессионального роста и развития.
- Доступ к современным инструментам и технологиям.
Вакансия предлагает конкурентоспособную зарплату и возможности для профессионального роста. Описание вакансии достаточно подробное, однако не указаны конкретные преимущества компании.
Кто здесь добьётся успеха
Глубокие знания Python и SQL, с опытом создания сложных ETL-процессов, используя Apache Spark и PySpark для обработки больших данных.
Способность работать в удаленном режиме, проявляя высокую степень самоорганизации и ответственности за выполнение задач в установленные сроки.
Опыт работы с инструментами CI/CD и Git для автоматизации процессов разработки и развертывания, что позволяет поддерживать высокое качество кода и эффективное управление версиями.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев