Ментор по R&D в области генерации текста — LLM и NLP

О позиции

Вы находитесь в начале своего пути в области искусственного интеллекта и хотите погрузиться в исследовательскую работу по генерации текста с использованием больших языковых моделей (LLM). Ваша цель — понять современные архитектуры, такие как трансформеры в стиле GPT, а затем воспроизвести, расширить и оценить недавние исследования в области обработки естественного языка (NLP).

Чем вы будете заниматься

• Создание четкой дорожной карты обучения, которая проведет вас через основные статьи, репозитории и концепции современных систем генерации текста.
• Практическое руководство по настройке среды Python (PyTorch или TensorFlow, Hugging Face Transformers, возможно, LangChain) и дообучению или обучению модели на небольшом наборе данных.
• Разработка практических ноутбуков, которые генерируют текст, документируют использованные гиперпараметры и демонстрируют техники оценки, такие как перплексия, BLEU и проверки читаемости.
• Регулярные сессии обратной связи — совместный экран, ревью кода, устранение неполадок — чтобы убедиться, что вы действительно понимаете, что происходит под капотом, от токенизации до стратегий выборки.
• Краткий отчет по итогам, в котором будут подведены итоги экспериментов, результаты и следующие шаги для более глубоких исследований.

Требования

• Все ноутбуки должны выполняться от начала до конца на вашем локальном компьютере или бесплатном экземпляре Colab без модификаций.
• Вы должны уметь объяснить каждый основной блок кода во время финальной сессии и воспроизвести те же выходные данные генерации.

Что мы предлагаем

• Начало работы на следующей неделе с возможностью проводить одну или две живые сессии в неделю в течение месяца, с гибкостью, если потребуется больше времени.
• Если у вас есть опубликованные статьи, открытые проекты или работа на Kaggle, связанная с генерацией текста, пожалуйста, включите ссылку, чтобы я мог оценить ваш стиль.

Давайте вместе раздвинем границы и уверенно начнем работать с LLM!