Data engineer (Middle) ГПХ

Описание вакансии

компания "банк центркредит"

основные задачи:

разработка и сопровождение etl/elt-процессов

нормализация, дедупликация, унификация и консолидация данных из разных источников. разработка схем данных и построение связей между сущностями.

работа с greenplum, postgresql, oracle оптимизация sql-запросов и создание представлений (views, materialized views).

настройка оркестрации и автоматизации пайплайнов (airflow и др.).

контроль качества данных (data quality) поддержка интеграций с аналитическими, ml- и llm-сервисами.

опыт работы с микросервисной архитектурой и шлюзами данных api gateway.

технические требования основной стек: python: опыт написания production-скриптов sql уверенные знания postgresql, greenplum, oracle etl-инструменты: airflow базы данных: опыт проектирования и администрирования реляционных бд.

работа с api: rest, json, xml.

инфраструктура опыт работы в *linux / nix-среде, знание docker, git. мониторинг и логи: grafana.

будет плюсом: опыт построения хранилищ данных (data lake, data warehouse).

опыт интеграции с ml/llm-сервисами или аналитическими платформами.

знание архитектуры dwh (ods, dds, staging).

опыт работы с kafka, redis, minio, clickhouse.

опыт и квалификация от 2 до 4 лет опыта работы на позиции data engineer / etl developer / python developer.

практический опыт создания или оптимизации etl-пайплайнов.

участие в проектах по интеграции данных из нескольких источников.

понимание принципов качества, надёжности и воспроизводимости данных (dq, lineage, validation)