QA Lead

Описание вакансии

компания "armeta kz"

armeta — applied-ai компания, которая делает продукты для инженерной
интеллектуальной обработки документации в строительстве и нефтегазе.
это роль первого qa в компании. у нас один продукт в проде под государственного
заказчика, два на подходе и впереди контур из четырёх модулей на ближайшие полгода.
функции qa сейчас нет: тестирование делают разработчики и аналитики по факту, а не по
сценарию. ты приходишь не в готовый процесс — ты его строишь, а потом набираешь под
себя команду.
цена ошибки у нас выше обычной. мы проходим приёмо-сдаточные испытания и
аттестацию по информационной безопасности. баг, найденный заказчиком на показе,
стоит не хотфикса, а протокола разногласий.
что ты будешь строить
● владеть качеством продукта end-to-end: стратегия тестирования, процессы,
стандарты, документация, метрики. с нуля.
● строить трассируемость требований: пункт тз тест-кейс результат прогона
доказательство для приёмки. так, чтобы пакет документов к пси собирался из
системы, а не писался руками за две недели до сдачи.
● готовить программу и методику испытаний, вести приёмку вместе с аналитиками и
заказчиком, отвечать за протоколы.
● тестировать ml-систему как ml-систему, а не как обычный бэкенд: качество
классификаторов, ocr и извлечения данных меряется метриками на золотых
наборах. ты ведёшь эти наборы, ставишь пороги и следишь, чтобы новая версия
модели не роняла качество на старых кейсах.
● строить автотесты в ci: api, интеграционные, регресс. пирамида, а не сто
e2e-сценариев, падающих через раз.
● проверять бизнес-сценарии, а не только «код отработал». большая часть наших
дефектов — это расхождение между тем, что написано в тз, и тем, что понял
разработчик.
● нагрузочное тестирование под sla: обработка тяжёлых документов, пропускная
способность пайплайна, поведение под очередью.
● тестировать в закрытом контуре и on-prem, включая среды без доступа в интернет.
● закрывать требования по безопасности в рамках подготовки к аттестации: чек-лист
требований, проверка разграничения прав, логирования, хранения секретов.
● ввести культуру дефектов: единый баг-трекинг, критерии severity, dod с
обязательным тестом, разбор пропущенных в прод дефектов.

что ты будешь делать в поле
● участвовать в показах и приёмках у заказчика. спокойно отвечать, когда что-то
ломается при демонстрации.
● сидеть рядом с инженерами заказчика и смотреть, как они реально работают с
системой. половина критичных дефектов не воспроизводится в тестовой среде,
потому что они про реальные документы и реальный порядок действий.
● воспроизводить проблемы из прода и превращать их в постоянные тест-кейсы и
золотые примеры, чтобы одно и то же не всплывало дважды.
● говорить «не готово» до сдачи, а не после. это часть работы, а не конфликт.
требования
● 3+ лет в qa, из них опыт построения процесса или руководства направлением. не
обязательно с большой командой — важно, что ты уже строил, а не только
исполнял.
● python и pytest на уровне уверенной автоматизации: api-тесты, фикстуры,
параметризация, моки.
● проектирование тест-дизайна: эквивалентные классы, граничные значения,
тест-кейсы, которые читает не только их автор.
● rest и websocket api, фоновые задачи и очереди — понимание, как тестировать
асинхронную обработку и что такое идемпотентность.
● postgresql и sql на уровне самостоятельной проверки данных.
● ci/cd: прогон тестов в пайплайне, гейты на мёрж. docker обязательно, kubernetes
на уровне «разберусь».
● опыт тестирования систем с ml или нечётким результатом, либо готовность
быстро в это войти: понимание разницы между pass/fail и метрикой качества.
● работа с формальной приёмкой: приёмо-сдаточные испытания, тестовая
документация, работа с внешним заказчиком.
● умение держать техническую беседу с непрофильным человеком, принимать
критику без защиты и не терять спокойствие, когда ломается на демо.
● русский и английский рабочие, казахский плюс.
● готовность выезжать на площадку заказчика.
будет плюсом
● опыт с государственными заказчиками и гост 34
● участие в аттестации по требованиям информационной безопасности.
● тестирование ocr, компьютерного зрения или систем извлечения данных из
документов.
● нагрузочное тестирование: k6, locust, jmeter.
● базовое security-тестирование: owasp, проверка разграничения доступа.
● опыт развёртывания и тестирования в закрытом контуре или on-prem.

● инженерный бэкграунд или опыт в строительной, проектной, нефтегазовой
предметной области.
как мы будем тебя оценивать
не по количеству заведённых багов. по тому, проходят ли приёмки с первого раза. ловит
ли регресс дефект раньше, чем его находит заказчик. сколько времени проходит от
проблемы, замеченной в поле, до закрытого тест-кейса в регрессе. и по тому, можно ли
через полгода собрать пакет документов к сдаче за день, а не за две недели.

​​​​