Мы ищем технического лидера, который поможет выстроить в компании системный подход к оценке качества LLM-моделей. Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт — мы будем рады видеть вас в нашей команде.
Мы активно развиваем GenAI-направление в hh.ru. Уже сейчас в разных командах используются LLM-модели для генерации текстов, диалогов, классификации и анализа вакансий и резюме. Направление развивается стремительными темпами, и централизованная экспертиза по оценке качества моделей станет критически важной частью всей AI-инфраструктуры.
Построение фреймворка оценки LLM-моделей и LLM-пайплайнов: бенчмарки, автоматизация, практики.
Разработка стандартов оценки и помощь другим командам в их применении.
Сравнение и анализ моделей от вендоров и open-source.
Организация процессов human и LLM-based оценки (включая асессорскую разметку и LLM-as-a-judge).
Анализ качества моделей/пайплайнов и их влияния на продуктовые метрики.
Оценка качества работы реальных GenAI-фичей на масштабе десятков миллионов пользователей.
Опыт построения и внедрения систем оценки качества ML-моделей в продуктах (offline-метрики, human evaluation, A/B).
Понимание задач и методов NLP/LLM: генерация, классификация, ранжирование, reasoning и др.
Опыт разработки или поддержки пайплайнов оценки (Python, ML-инфраструктура, автоматизация).
Навыки структурирования и сбора human-разметки, знание подходов LLM-as-a-judge.
Уверенное владение Python (NumPy, pandas, sklearn, PyTorch), опыт с HuggingFace, LangChain и пр.
Живой интерес к сфере GenAI, знание подходов к построению LLM-based систем (prompt engineering, RAG, агенты).
Готовность быть драйвером best practices внутри компании.
Будет плюсом
Участие в OSS-инициативах (Open LLM Leaderboard, MT-Bench, Arena, trlx и пр).
Опыт работы с платформами краудсорс-разметки Яндекс Крауд, toloka.ai и др.
Опыт обучения или внедрения LLM.
Возможность выбора места работы: удаленно или из офиса.
Гибкий график рабочего дня.
Оформление в соответствии с ТК РФ, «Белая» заработная плата, выплачиваемая точно в срок.
Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно).
Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
hh.ru — экосистема для поиска работы, подбора персонала и развития карьеры в России и СНГ. Мы создаем передовые HR-инструменты, помогающие людям находить работу, которая приносит удовольствие и соответствует их целям, а бизнесу — расти и достигать большего. Ежегодно более 10 млн человек находят работу на hh.ru, а каждая вторая смена работы в России происходит через нашу платформу. hh.ru — это не только сайт, но и комплекс решений для управления человеческим капиталом: аналитика рынка труда, развитие HR-технологий, внедрение инновационных подходов в HR-процессы. Наша миссия — помогать людям находить работу, а бизнесу — помогать с HR-процессами.