Senior QA-инженер (AI / Automation)

Описание вакансии

Мы ищем Эксперта, который возьмёт на себя контроль качества AI-решений банка. Вы будете отвечать за то, чтобы модели и AI-агенты работали надёжно, предсказуемо и соответствовали бизнес-, техническим и регуляторным требованиям.

Это гибридная роль: с одной стороны — построение системы тестирования AI-решений, с другой — разбор отдельных частей проектов в качестве системного аналитика. Вы будете работать с ключевыми процессами банка и напрямую взаимодействовать с разработчиками, стейкхолдерами и риск-подразделением.

От вашей работы зависит качество AI-решений и развитие стандартов QA в этом направлении.

Вам предстоит:

• Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка.

• Строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов.

• Давать заключение о готовности проекта к промышленной эксплуатации.

• Внедрять мониторинг искажения данных и моделей, готовить документацию (Model Card).

• Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем.

• Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей.

• Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости.

• Участвовать в технической экспертизе моделей при согласовании с риск-подразделением.

Мы ожидаем, что у вас есть:

• Опыт тестирования и обеспечения качества AI/ML-решений (LLM, AI-агенты, пайплайны).
• Понимание специфики QA для LLM: оценка качества генерации, галлюцинации, PII-утечки, контроль формата.
• Практический опыт построения pipeline оценки (LLM-as-judge, автоматические метрики, ручная экспертиза).
• Навыки системного анализа: умение разобрать проект на части, описать требования и предложить решения.
• Опыт red-team / adversarial-тестирования.
• Понимание принципов мониторинга данных и моделей.
• Готовность работать с регуляторными и риск-требованиями.
• Опыт менторства и проведения технических интервью.

О компании «Банк ЦентрКредит»

Основанный̆ в 1988 году АО "Банк ЦентрКредит" более 30 лет является одним из лидирующих банков в Казахстане, прочно вошедших в ТОР5 лучших банков по таким показателям, как объем активов, депозитная база, кредитный̆ портфель.

Наша миссия - развитие малого и среднего бизнеса, становление среднего класса Казахстана и стран СНГ. Предоставляя универсальные банковские услуги и продукты, БЦК заслуженно является признанным, многоопытным и ответственным международным финансовым институтом.

Сегодня Банк ЦентрКредит предоставляет полный̆ спектр финансовых услуг, востребованных на рынке, одновременно расширяя продуктовую линейку, активно изучает и пропагандирует финансовый̆ инжиниринг. В нашем банке создаются все условия для комфортного обслуживания как крупных коммерческих компаний, так и физических лиц.

Главная задача каждого сотрудника

• Профессионализм;
• Качественное обслуживание;
• Быстрый̆ сервис для наших клиентов.

Попав в команду БЦК, Вы получаете уникальные преимущества

• Работа в банке, который̆ пользуется высокой̆ репутацией̆;
• Возможность плодотворного общения с коллективом высококлассных специалистов;
• Перспективы карьерного роста;
• Привлекательные условия оплаты труда и стимулирования сотрудников;
• Получение уникального, профессионального опыта.

Инициатива, профессионализм и лидерство - органическая часть служебной̆ карьеры в банке.