Data Engineer — проектирование пайплайнов обработки данных@ LIAN

О позиции

Компания ЛИАН ищет Data Engineer для работы над аутстафф проектом. Ваша основная задача будет заключаться в проектировании, внедрении и сопровождении пайплайнов обработки данных на платформе Databricks. Вы будете работать с такими инструментами, как Unity Catalog и Delta Lake, а также заниматься автоматизацией процессов с помощью Terraform.

Чем вы будете заниматься

• Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными.
• Проводить детальное исследование и профилирование наборов данных.
• Участвовать в создании архитектуры разграничения доступа к данным.
• Взаимодействовать с командой для рецензирования схем доступа и контрактов данных.
• Обеспечивать запуск продуктов обработки данных в соответствии с контрактами.
• Готовить и актуализировать документацию по контрактам на данные.
• Отслеживать работу пайплайнов и выполнять проверки качества данных.
• Изучать существующие наработки и искать решения для повторного использования компонентов.

Требования

• Более 3 лет опыта работы в области проектирования данных.
• Опыт работы с Python и фреймворками для обработки данных (например, Spark/PySpark).
• Практический опыт работы с Unity Catalog и Delta Lake.
• Опыт автоматизации развертывания объектов Databricks через Terraform.
• Умение оптимизировать производительность Spark-задач.
• Опыт работы с потоковой обработкой данных.
• Глубокие знания в области моделирования данных и архитектуры хранилищ.
• Практический опыт развертывания облачных платформ и инфраструктуры данных.
• Опыт внедрения CI/CD для кода обработки данных.
• Способность проектировать решения для доступа к данным.
• Четкое понимание бизнес-ценности продуктов данных.
• Опыт разработки программного обеспечения.
• Английский язык на уровне B1.

Что мы предлагаем

• Заработная плата от 240 до 350 тыс. рублей в месяц.
• Фулл тайм занятость с возможностью работы из любой точки мира.
• Оформление по ИП.
• Работа в команде профессионалов с возможностью роста и развития.
• Гибкий график работы.
• Доступ к современным инструментам и технологиям.
• Поддержка в обучении и развитии навыков.