Platform Administrator (Databricks)

Nitka Technologies develops software for customers in the US and Europe and brings together about 300 professionals from Eastern Europe, North and South America, Armenia, Georgia and Kazakhstan.
We are looking for an experienced Platform Administrator (Databricks) for a long-term project. The customer is a company in California, an industry leader in the sale of tickets to events in Europe and the USA.
We offer 100% remote, full-time work.

Main tasks:

• Manage multiple Databricks workspaces (dev/qa/prod);
• Configure cluster policies, governance & compliance;
• Create & maintain unity catalog objects: catalogs, schemas, grants, service principals, external storage etc;
• Monitor and debug failed / long-running jobs using system tables (job_run_timeline, node_timeline, workflow_run);
• Troubleshoot cluster crashes, driver OOM, executor failures, memory leaks;
• Investigate Python / Spark errors, dependency conflicts (PyPI, WHL, Maven)
• Assist users with cluster/job configuration, notebook errors, unity catalog permissions;
• Explain platform limitations and best practices to Data engineers;
• Maintain confluence pages with platform rules & troubleshooting guides;

Requirements:

• Experience in implementation, integration or technical support;
• Experience with Linux, Bash;
• Confident SQL skills;
• Strong experience of working with AWS Infrastructure (ec2, s3, iam, vpc, secret management, sqs);
• Experience with Python sufficient for writing small scripts or applications;
• Experience of maintaining Databricks jobs & environments;
• Experience with REST API/SDK;
• Understanding of file-based databases (DeltaLake, Parquet, Hive);
• Understanding of of cluster types & node families;
• Spoken English at Intermediate level or higher;

Would be a plus:

• Databricks REST API / Databricks SDK;
• Working with schema evolution, time travel, vacuum, compaction, z-order;
• Debugging corrupted delta tables (conflicting commits, tombstones, missing checkpoints);
• Understanding of acid implementation on top of object storage;
• Spark knowledge (jobs, partitions, queries), experience in Kafka or similar technology, familiarity with Terraform / Gitlab CI;
• Cost monitoring for platform services and objects;
• Experience in enterprise Data platforms;

Working conditions:

• Remote work with no time trackers, flexible working hours
• Full-time (8 hours/day)
• Attractive USD compensation
• Paid vacation, holidays, sick leaves

Nitka Technologies - американская компания, занимающаяся разработкой ПО более 20 лет. Наши клиенты - компании со всего мира, от огромных корпораций с десятками тысяч сотрудников до небольших стартапов, работающих над первой версией своего продукта. 

Наши сотрудники - это более 300 профессионалов на разных позициях, работающих полностью удаленно без привязки к часовому поясу или точке на карте. 

Наша деятельность:

Сферы, в которых были реализованы нашей командой проекты, разнообразны - от разработки 3D принтеров и соответствующего софта до Блокчейна и ИИ. Основные ориентиры компании - полезность для бизнеса и качество реализации продукта. 
Каждый сотрудник не только тесно общается с командой клиента и активно участвует во всех этапах разработки, но и взаимодействует со всей командой Nitka в целом, повышая в процессе свои hard и soft скилы. 

Наши технологии:

На проектах используются разнообразные актуальные технологии - современные языки программирования, базы данных, инструменты, среды разработки и пр. Компания взаимодействует и ведет поиск сотрудников на разные позиции - от разработчиков до DevOps инженеров. 

Что мы предлагаем нашим сотрудникам:

 Работа в формате полной удаленки без привязки к определенной локации, с комфортным гибким графиком и без тайм трекеров;

• Долгосрочные проекты, реализованные с помощью современных, актуальных технологий;
• Взаимодействие с коллегами из более чем 30 стран мира, обмен опытом;
• Конкурентная и своевременная заработная плата в долл. США.

Если вам интересна работа в долгосрочном международном проекте в команде профессионалов - присоединяйтесь к Nitka Technologies!