Аналитик-специалист — разработчик для улучшения претрейн-модели Alice AI LLM@ Яндекс

О позиции

В нашей команде аналитиков претрейн-модели Alice AI LLM вы будете заниматься улучшением качества модели, которая лежит в основе таких продуктов, как Алиса и Поиск Яндекса. Ваша задача — создание системы надёжных метрик для оценки качества работы модели, а также интерпретация результатов экспериментов и анализ точек роста.

Чем вы будете заниматься

• Создание метрик качества претрейна, чтобы всесторонне оценивать качество модели.
• Интерпретация результатов экспериментов, помогая команде разработки разобраться в неожиданных результатах.
• Анализ точек роста и выявление сложных задач, с которыми модель не справляется, для совместной работы над их решением.
• Мониторинг качества модели и постоянное улучшение её характеристик.
• Работа с данными и построение эффективных процессов их обработки.

Требования

• Опыт работы с метриками в области NLP.
• Уверенное владение SQL и Python.
• Способность анализировать данные и строить эффективные процессы их обработки.

Будет плюсом

• Опыт работы с LLM.
• Создание агентских систем.
• Опыт в крауд-разметках с системой контроля качества.

Что мы предлагаем

• ДМС Яндекса с первого месяца работы, включая возможность получения медицинской помощи за рубежом.
• Гибкий график работы и возможность удалённой работы.
• Доступ к обучающим материалам и курсам для повышения квалификации.
• Работа в дружной команде профессионалов с возможностью карьерного роста.
• Участие в интересных проектах и экспериментах в области AI.