О позиции
Мы ищем опытного Data Engineer для работы в компании SPBDev. Эта позиция предлагает возможность работать удаленно и участвовать в разработке систем больших данных, что позволит вам применить свои навыки и знания в реальных проектах.
Чем вы будете заниматься
- Разработка низкоуровневой архитектуры систем больших данных на основании информации от аналитиков и архитекторов.
- Создание документации, описывающей архитектуру разрабатываемых систем.
- Программирование и оптимизация кода для систем больших данных.
- Подготовка и сборка установочных пакетов для внедрения решений в промышленную среду.
- Проведение плановых работ по оптимизации кода и исправлению дефектов в разработанных приложениях.
- Разработка Unit тестов для программного кода систем.
Требования
- Опыт работы от 3 лет в коммерческой разработке.
- Знания и опыт работы с Big Data.
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов.
- Опыт работы с CI/CD процессами.
- Знания Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes.
- Опыт работы с SQLAlchemy, PostgreSQL, Greenplum, Docker, Git.
Будет плюсом
- Опыт работы с Flake8, PyLint, Black.
- Знания в области оптимизации запросов.
- Опыт проведения Code Review.
Что мы предлагаем
- Конкурентоспособная зарплата от 200 000 до 300 000 ₽ в месяц.
- Полностью удаленная работа с гибким графиком.
- Возможности для профессионального роста и развития.
- Работа в дружном и профессиональном коллективе.
- Участие в интересных проектах в сфере больших данных.
Вакансия предлагает хорошие условия для опытных специалистов в области больших данных, однако требует значительного опыта и навыков. Зарплата конкурентоспособная, но может быть ниже для начинающих.
Кто здесь добьётся успеха
Глубокие знания в области Python и его библиотек для обработки данных (например, Pandas, NumPy), что позволяет эффективно работать с большими объемами данных.
Опыт работы с инструментами обработки данных, такими как Spark и Hadoop, а также знание принципов их интеграции с Kubernetes для обеспечения масштабируемости и надежности систем.
Способность самостоятельно разрабатывать и поддерживать CI/CD пайплайны, используя инструменты, такие как Git и Docker, что позволяет ускорить процесс разработки и развертывания.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев