Data Scientist — оценка качества моделей и NLP@ OZON

О позиции

Компания OZON ищет Data Scientist для работы над моделями оценки качества и диалоговыми ИИ. Ваша задача будет заключаться в создании и улучшении процессов оценки ML-решений, а также в проведении аудита поведения моделей. Вы будете работать с LLM и разрабатывать решения для анализа динамики взаимодействия агентов с пользователями.

Чем вы будете заниматься

• Погружение в особенности создания проектов компании.
• Участие в принятии решений о релизе моделей.
• Создание и улучшение процессов оценки ML-решений.
• Проведение аудита поведения всех типов моделей.
• Забота о качестве артефактов для построения и оценки моделей.
• Работа с LLM и приложениями на его основе.
• Разработка инструментов для автоматической валидации решений на основе LLM.
• Прототипирование ML-решений для проверки гипотез о влиянии на метрики.
• Установка стандартов в оценке поведения и качества ответов агентов.

Требования

• Опыт работы Data Scientist от 3 лет.
• Опыт работы с NLP от 2 лет.
• Практический опыт оценки LLM-решений.
• Опыт работы с агентами для консультации пользователей.
• Понимание ограничений LLM.
• Умение писать продакшн-код.
• Подготовка понятных отчетов.
• Способность объяснять сложные метрики простым языком.

Что мы предлагаем

• Конкурентная зарплата и возможности для профессионального роста.
• Удалённая работа с гибким графиком.
• Доступ к современным инструментам и технологиям.
• Поддержка в обучении и развитии.
• Работа в команде профессионалов.