Data Engineer( Kaspi Bank, АО )

Описание вакансии

компания "kaspi bank, ао"

привет!

мы строим data lake под регуляторное хранилище на базе clickhouse. ищем опытного data engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной субд под нагрузкой.

вам предстоит разобраться в сложном legacy-коде, спроектировать и запустить надёжные пайплайны данных, а также поучаствовать в ключевых архитектурных решениях. мы ждём человека, которому интересно данное направление, который умеет аргументировать свою позицию и берёт ответственность за результат.

технические требования (hard skills)

обязательно

• oracle pl/sql: чтение и понимание сложного существующего кода (пакеты, хранимые процедуры, функции, тонкости транзакционной логики), умение переносить/перепроектировать бизнес-логику под новый стек.
• sql: отличное владение аналитическим sql: сложные join, оконные функции, cte, агрегации, оптимизация запросов.
• clickhouse: уверенный опыт работы - движки таблиц (mergetree-семейство и др.), партиционирование, индексы, материализованные представления, движки для интеграции, кодеки сжатия, репликации.
• apache airflow: разработка production-ready dag, управление зависимостями, retry/backfill, переменные и соединения, мониторинг ошибок.
• datalake: понимание архитектур хранилищ, моделирование данных под аналитику, работа с большими объёмами, опыт с apache iceberg как плюс.

важно (будет плюсом)

• python: уверенный уровень (автоматизация etl, работа с airflow, клиентами бд, тестирование).
• trino: понимание принципов работы, построение запросов, оптимизация join, работа с каталогом.
• apache spark: опыт batch-обработки (pyspark), интеграция с iceberg/s3, понимание распределённых вычислений.
• data quality: опыт внедрения проверок качества данных, мониторинг аномалий.
• мониторинг: построение мониторинга пайплайнов, автоматизация алертинга.
• инфраструктура и ci/cd: git, опыт работы с s3-compatible storage, понимание ci/cd для data-конвейеров.

будет преимуществом

• опыт работы в банковской сфере: знание банковских продуктов, плана счетов, принципов учёта.
• знание регуляторной отчётности.
• опыт работы с pl+ (цфт).
• опыт проектирования lakehouse-архитектуры.
• опыт миграций с legacy-хранилищ.

опыт работы

• от 3 лет в it, из них не менее 1 года в роли data engineer / etl-разработчика / инженера данных.
• опыт работы с высоконагруженными аналитическими системами и большими объёмами данных.
• опыт участия в архитектурных обсуждениях и проектировании решений.
• желателен опыт в финансовом секторе / банках.

образование

• высшее техническое/математическое/it.

личные качества (soft skills)

• умение работать в команде и эффективно коммуницировать с аналитиками, архитекторами, разработчиками и бизнесом.
• умение аргументировать технические решения и участвовать в конструктивных дебатах.
• самостоятельность, проактивность, ответственность за результат.
• готовность разбираться в чужом сложном legacy-коде.
• внимательность к деталям и аккуратность при работе с критичными финансовыми данными.

что мы предлагаем:

• абсолютную свободу от бюрократии – здесь ценят инициативу и идеи.
• дружелюбную корпоративную атмосферу и поддержку со стороны коллег.
• возможности для обучения и развития – мы готовы инвестировать в ваш профессиональный рост.
• ежегодный пересмотр зарплаты с учётом ваших достижений.
• годовой бонус, который приятно дополняет вашу зарплату.
• современный и уютный офис, который вошёл в топ-10 лучших в казахстане.
• офисный формат работы с возможностью удаленного подключения при необходимости.
• бесплатный тренажерный зал в офисе.
• электронную библиотеку.
• релокационный пакет.