Инженер данных

Описание вакансии

компания "mycar group"

требования:

• от 4 лет коммерческого опыта в роли dwh / data engineer

• хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии

• витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или bi

• проектирование

  • понимаете принципы построения dwh (kimball / inmon, star schema, etl/elt) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону

  • понимаете различия oltp- и olap-систем и последствия выбора для схемы и профиля нагрузки

  • умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ

  технологии

  • sql на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы

  • postgresql / mysql или другая промышленная рсубд под нагрузкой

  • kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке

  • clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views

  • airflow или другой оркестратор

  • python на уровне поддерживаемого production-кода

  • git, jira

  будет плюсом:

  • отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны

  • проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний

  • работаете с качеством данных как с отдельной задачей: проверки, sla на данные, договорённости с владельцами источников

  • ревьюите код, помогаете расти middle-инженерам

  • общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки

  • интеграции с bi-системами: power bi, tableau и др.

  • опыт создания и мониторинга production-сервисов и api на python, работа со сторонними api

  • опыт работы в облачных средах (aws, gcp), понимание облачных сетей и безопасности

обязанности:

• развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения

• разрабатывать и сопровождать витрины данных для аналитики, bi

• проектировать и разрабатывать процессы загрузки данных из разнородных источников

• настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок

• строить дашборды, алертинг и мониторинг

• обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок

• проводить аудит текущих решений, выявлять точки роста

• профайлинг, оптимизация и рефакторинг существующих решений

• поддерживать и развивать etl-инфраструктуру и интеграционное по, участвовать в разборе инцидентов

• собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками

• участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики

• вести задачи в jira: оценка, декомпозиция, контроль выполнения

условия:

• график работы 5/2, с 09:00 до 18:00;

• корпоративная мобильная связь;

• добровольное медицинское страхование;

• оплата части расходов по фитнесу