Разработчик приложений

Описание вакансии

Обязанности:
   Проектирование, разработка и сопровождение надежных ETL/ELT пайплайнов
   Интеграция данных из различных источников: API, базы данных, файловые системы, стриминг-сервисы
   Разработка и поддержка витрин данных для аналитики и Data Science
   Оптимизация производительности хранилищ и процессов обработки данных
   Обеспечение качества, консистентности и доступности данных
   Участие в проектировании архитектуры хранилищ (DWH, Data Lake)
   Настройка мониторинга, алертов и логирования для процессов загрузки данных
   Работа с разработчиками, аналитиками, ML-инженерами и заказчиками данных
   Поддержка CI/CD пайплайнов для компонентов data-инфраструктуры


Требования:
   Уверенное знание Python и инструментов работы с данными: pandas, SQLAlchemy, requests и др.
   Глубокие знания SQL, опыт работы с реляционными и колонковыми БД (PostgreSQL, ClickHouse, Snowflake и др.)
   Опыт работы с API (REST/GraphQL), файловыми источниками (CSV, XLSX, JSON, XML)
   Опыт работы с системами оркестрации данных: Apache Airflow, Prefect или аналогами
   Навыки построения архитектуры потоков данных, обработки больших объемов
   Опыт работы с Docker, Git, CI/CD (GitLab CI, Jenkins и др.)
   Понимание принципов построения DWH и Data Lake, знание подходов к моделированию данных (star/snowflake)
   Опыт настройки мониторинга процессов (Prometheus, Grafana, логирование)
   Понимание основ безопасности данных, управление доступом
   Английский — на уровне чтения и написания технической документации
   Python: pandas, requests, SQLAlchemy, PySpark (желательно)
   СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (по проекту)
   Оркестрация: Apache Airflow, Prefect, Luigi
   Интеграция: REST API, FTP/SFTP, очереди (Kafka, RabbitMQ — желательно)
   Контейнеризация и автоматизация: Docker, Git, GitLab CI, Jenkins
   Мониторинг: Prometheus, Grafana, ELK/EFK стек
   Linux/Unix, bash, crontab
   BI и аналитика: понимание требований к структуре витрин данных (в связке с Power BI, Tableau, Qlik и др.)
Опыт работы не менее 2-х лет

Условия:
- рабочий график c 09:00 до 18:30

- медицинская страховка

- развозка