О позиции
Мы ищем Data Engineer для проектной работы в компании Top Selection. Эта позиция Data Engineer удалённо предлагает возможность работать с современными технологиями в области больших данных. Вы будете частью команды, занимающейся разработкой и поддержкой интеграционных потоков данных, что позволит вам развивать свои навыки и получать опыт в работе с передовыми инструментами.
Чем вы будете заниматься
- Сбор требований с бизнес-заказчиков и анализ источников данных.
- Разработка, реализация и поддержка интеграционных потоков на стеке технологий: Trino, Iceberg, S3, Spark, Apache Airflow и других.
- Оперативное реагирование на проблемы в зоне ответственности и выполнение задач в установленные сроки.
- Поддержание актуальности документации по интеграционным решениям платформы больших данных.
- Предоставление отчетности о своей деятельности руководителю.
Требования
- Общее представление о стеке технологий Lakehouse.
- Понимание работы с Big Data и обычными данными.
- Знание SQL, включая индексы, функции и оптимизацию.
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.).
- Умение работать с Git (знание команд git pull/commit/push).
- Опыт разработки на Spark и знание Trino.
- Понимание форматов данных Iceberg, Parquet, Avro.
- Опыт работы с системами ведения проектов и документации.
Будет плюсом
- Опыт работы с DBT, Cosmos, Ni-Fi.
- Знание языков программирования (JAVA, Python).
- Опыт использования систем управления проектами.
Что мы предлагаем
- Конкурентная зарплата от 256K до 280K ₽ в месяц.
- Долгосрочный проект с возможностью профессионального роста.
- Работа в дружной команде профессионалов.
- Гибкий график работы.
- Оформление через ИП.
- Удалённая работа без привязки к офису.
Вакансия предлагает хорошую зарплату и возможность работать с современными технологиями в области больших данных. Однако, отсутствует информация о компании и её репутации.
Кто здесь добьётся успеха
Глубокое понимание работы с Greenplum и Clickhouse для оптимизации хранения и обработки больших объемов данных.
Способность эффективно управлять потоками данных с использованием Apache Airflow, что позволяет автоматизировать процессы ETL и мониторить их выполнение в удаленном режиме.
Опыт написания эффективных скриптов на Python и SQL для анализа данных и интеграции с Hadoop и S3, что позволяет быстро реагировать на требования бизнеса.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев