C++ разработчик — индексация и обработка данных@ Яндекс

О позиции

Мы команда, которая индексирует интернет и превращает разрозненные страницы в структурированную товарную базу, состоящую из десятков миллиардов документов. Ваша роль как C++ разработчика будет заключаться в разработке ключевых компонентов системы, связанных с краулингом, хранением и обработкой данных.

Чем вы будете заниматься

• Индексация и краулинг: реализация стратегий планирования и приоритизации обхода интернета, разработка модулей потоковой обработки данных, написание продакшен-кода на C++ для высоконагруженных сервисов, интеграция внешних B2B-источников данных.
• Хранение и обработка данных: развитие пайплайнов хранения и обработки данных на базе YTsaurus, работа с данными масштаба десятков миллиардов записей и терабайтами данных, обеспечение консистентности и актуальности данных, доставка данных в поисковые продукты.
• Интеграция алгоритмов и ML: внедрение ML-моделей в продакшен-пайплайны, участие в разработке и оптимизации алгоритмов обработки данных, оптимизация потребляемых ресурсов.

Требования

• Опыт разработки высоконагруженных сервисов и работы с большими данными.
• Уверенное владение C++.
• Понимание сетевых взаимодействий.
• Умение писать надёжный и производительный код.

Будет плюсом

• Опыт разработки краулеров или поисковых систем.
• Интеграция ML-моделей в продакшен.
• Понимание алгоритмов ранжирования и обработки данных.
• Знание классических ML и NLP или желание их изучить.

Что мы предлагаем

• Корпоративная подписка на хорошую жизнь: чекапы, спорт, терапия, образовательные курсы и многое другое.
• Полный список бонусов доступен на нашем сайте.