AI Agent Training Engineer / Инженер по обучению ИИ-агентов (Middle/Senior)

Описание вакансии

компания "копылов евгений анатольевич"

о продукте и стеке

мы создаём b2b-платформу автономных ии-агентов для рынка сша. агенты ведут многошаговые рабочие процессы с несколькими участниками — со сроками, документами и перепиской — и выполняют действия во внешних системах: электронная почта, crm, календари, документы. ключевые действия проходят через подтверждение человеком.

стек платформы: python, fastapi, postgresql, redis, mcp. используем managed-модели anthropic, openai и google через api.

сразу о главном: мы не обучаем веса моделей. fine-tuning и post-training не входят в роль — опыт с ними приветствуется, но не является ядром. ядро роли — превращать описание работы и опыт предметных экспертов в систему знаний, навыков, инструкций и критериев решений, по которой агент устойчиво выполняет профессиональную роль на готовой агентской архитектуре. уровень middle/senior в разработке нужен, чтобы понимать устройство системы, работать с её кодом и отличать пробел в обучении от ограничения модели, инструментов или архитектуры.

граница со смежной ролью: инфраструктура оценки — оценочный harness, evals-платформа, release gates — зона reliability / harness engineer. вы отвечаете за содержание: доменные знания, правила решений, обучающие и оценочные наборы — и работаете внутри готового оценочного harness.

что предстоит делать

формализовать профессиональную роль вместе с предметными экспертами: задачи, критерии решений, исключения, полномочия и условия эскалации.
настраивать агента в рамках готовой архитектуры: навыки, структура знаний, инструкции, примеры, правила использования инструментов.
формировать обучающий и оценочный набор из реальных кейсов, экспертных исправлений и спроектированных граничных сценариев.
анализировать трассы выполнения, классифицировать причины ошибок и последовательно корректировать обучающие материалы или конфигурацию агента.
определять критерии готовности роли, проводить evals и регрессионные проверки, версионировать изменения и доводить агента до устойчивого результата.

первые 90 дней

формализовать первую профессиональную роль вместе с предметным экспертом: задачи, критерии решений, исключения, условия эскалации.
собрать обучающий и оценочный набор из реальных кейсов и граничных сценариев; довести агента до устойчивого прохождения evals по этой роли.
задокументировать методику как переиспользуемый стандарт обучения ролей для платформы.

обязательные требования

по каждому пункту на интервью спросим детали и артефакты.

• python на уровне middle/senior: уверенно читаете и дорабатываете существующий код, работаете с api и данными.
• production-опыт с llm-приложениями или агентами: понимаете взаимодействие модели, контекста, памяти, знаний и инструментов внутри агентной системы.
• лично и системно улучшали поведение агента на основе реальных задач, трасс выполнения и обратной связи экспертов — покажете, что именно меняли и как измеряли эффект.
• анализ первопричин: отличаете пробел в обучении агента от проблемы данных, инструментов, модели или архитектурного ограничения.
• проектирование evals на основе ground truth, работа с экспертной оценкой, регрессионное покрытие недетерминированного поведения.
• умение извлекать неформализованный опыт эксперта и превращать его в точные правила, примеры и критерии решений.
• английский b1 или выше.

будет преимуществом

• опыт с собственными или нестандартными агентными архитектурами.
• подготовка синтетических данных, автоматических graders или обучающих сред для агентов.
• опыт fine-tuning или post-training моделей.
• обучение агентов для сложных предметных областей, long-horizon-систем или многоагентных систем.

условия

• полная занятость, удалённая работа. синхронное окно команды: с 10:00–11:00 до 20:00–21:00 мск.
• возможность определять подходы к обучению и развитию поведения агентов на уровне всей платформы.
• прямая связь между проведёнными экспериментами и качеством продукта; оценка по результату.

как откликнуться

вместо стандартного сопроводительного письма:

• разберите один случай, когда вы обучали ии-агента конкретной задаче или роли: какую работу должен был выполнять агент, как формализовали знания и критерии, на каких примерах обучали, какие ошибки обнаружили и что изменили, как проверяли качество и какого результата достигли. приложите верифицируемые артефакты: github, работающие продукты, примеры инструментов для экспериментов и оценки.
• ответьте на вопрос: возьмите профессиональную роль, которую хорошо знаете, и покажите на одном примере, как превратите неформализованное правило эксперта (вида «мы обычно так не делаем, если клиент нервничает») в проверяемый критерий решения и eval-сценарий.
• опишите, что в этом проекте не получилось и почему.

Метки