О позиции
Мы ищем опытного Data Engineer удалённо для работы с большими потоками данных и поддержки дата-инфраструктуры. Эта роль сочетает поддержку существующих систем и развитие новых решений с приоритетом на стабильность и качество данных в реальном времени.
Чем вы будете заниматься
- Поддержка и развитие дата-пайплайнов в историческом и реальном времени, включая агрегацию, обработку и верификацию данных.
- Разработка и оптимизация Python-скриптов для интеграции данных из внешних источников и работы с потоками данных.
- Обеспечение качества данных: настройка и развитие процессов верификации, своевременное выявление и исправление ошибок.
- Развитие инфраструктуры: организация хранения и доступа к сырым данным (Data Lake), рефакторинг пайплайнов, оптимизация хранения неагрегированных данных.
- Обслуживание систем: мониторинг, реагирование на алерты, устранение неполадок и обеспечение стабильной работы критичных сервисов.
Требования
- Опыт работы с Python и инструментами для обработки данных.
- Знание принципов работы с большими данными и дата-инфраструктурой.
- Опыт работы с системами хранения данных (Data Lake, базы данных).
- Навыки работы с инструментами мониторинга и верификации данных.
- Способность к решению проблем и оптимизации процессов.
Что мы предлагаем
- Конкурентоспособная зарплата, основанная на опыте и навыках.
- Гибкий график работы и возможность удалённой работы.
- Доступ к обучающим ресурсам и курсам для повышения квалификации.
- Дружелюбная команда и поддержка в профессиональном развитии.
- Участие в интересных проектах с использованием современных технологий.
Если вы хотите стать частью нашей команды и развивать свои навыки в области Data Engineering удалённо, отправляйте своё резюме на указанный адрес.
Вакансия предлагает интересные задачи в области обработки данных. Однако, не указаны конкретные условия работы и дополнительные бонусы.
Кто здесь добьётся успеха
Глубокие знания Python и опыт работы с библиотеками для обработки данных, такими как Pandas и NumPy, для эффективной агрегации и верификации данных.
Способность работать в удалённой среде, требующая высокой самодисциплины и организации времени для поддержания продуктивности и соблюдения сроков.
Опыт разработки и управления дата-пайплайнами, включая использование технологий, таких как Apache Airflow или Apache Kafka, для обеспечения стабильности и качества данных в реальном времени.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев