Engenheiro de Dados – Grupo Iter – Rio de Janeiro

Responsabilidades e atribuições
Desenvolver e manter pipelines de ingestão, transformação e carga de dados utilizando Azure Data Factory e demais soluções Azure;
Construir e evoluir as camadas da arquitetura Medalhão (Raw, Bronze, Silver e Gold) no Databricks com Delta Lake;
Modelar dados utilizando o padrão Data Vault e criar Delta Tables otimizadas para consumo analítico;
Monitorar e otimizar jobs Spark, com atenção à eficiência de custo e consumo de DBUs no Databricks;
Governar dados com Unity Catalog — tags, comentários, qualidade, rastreabilidade e conformidade;
Participar de discussões de arquitetura, propondo soluções escaláveis e sustentáveis no ecossistema Azure e Databricks

Requisitos e qualificações
Ensino superior completo;
Databricks & Cloud:
Databricks: Delta Lake, Delta Tables, Databricks Workflows e Unity Catalog;
Azure Data Factory e Azure Data Lake Storage (ADLS);
Visão de FinOps e otimização de custos em cloud (DBUs, auto-stop, cluster sizing).

Linguagens & Processamento:
Python, PySpark e SQL para processamento e transformação de dados;
Boas práticas de desenvolvimento e código limpo.

Integração & Versionamento:
Versionamento de notebooks e pipelines com Azure DevOps ou GitHub;
Integração com Power BI via DirectQuery (Serverless SQL Warehouse).

Diferenciais:
Uso de ferramentas de IA generativa (Claude Code, GitHub Copilot) para acelerar desenvolvimento e qualidade;
Noções de pipelines de Machine Learning — feature engineering e rastreamento de experimentos com MLflow;
Experiência com a ferramenta Genie do Databricks.

Candidate-se, clicando no botão “Candidatar-se à vaga” abaixo